EP3882032A1 - Sheet inspection with global brightness adjustment - Google Patents

Sheet inspection with global brightness adjustment Download PDF

Info

Publication number
EP3882032A1
EP3882032A1 EP20164387.1A EP20164387A EP3882032A1 EP 3882032 A1 EP3882032 A1 EP 3882032A1 EP 20164387 A EP20164387 A EP 20164387A EP 3882032 A1 EP3882032 A1 EP 3882032A1
Authority
EP
European Patent Office
Prior art keywords
image
paper white
print
computer
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20164387.1A
Other languages
German (de)
French (fr)
Other versions
EP3882032B1 (en
Inventor
Bennet Carstensen
Peter Eisele
Jan Krieger
Hendrik Schmedt
Frank Schumann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heidelberger Druckmaschinen AG
Original Assignee
Heidelberger Druckmaschinen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heidelberger Druckmaschinen AG filed Critical Heidelberger Druckmaschinen AG
Priority to EP20164387.1A priority Critical patent/EP3882032B1/en
Priority to CN202110302366.4A priority patent/CN113492580B/en
Publication of EP3882032A1 publication Critical patent/EP3882032A1/en
Application granted granted Critical
Publication of EP3882032B1 publication Critical patent/EP3882032B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41FPRINTING MACHINES OR PRESSES
    • B41F33/00Indicating, counting, warning, control or safety devices
    • B41F33/0036Devices for scanning or checking the printed matter for quality control

Definitions

  • the present invention relates to a method for image inspection of printed products with an automated brightness compensation.
  • the invention lies in the technical field of print quality control.
  • inline means that the image acquisition system, more precisely the camera of the image acquisition system, is mounted in the printing press. It is usually attached after the last printing unit or, if available, a further post-processing station, such as a coating unit, and records the printed products produced by the printing press. It can be a camera or a camera system with several cameras. The use of other image sensors is also possible. For the sake of simplicity, however, the term “camera” is used in the following. The digital print images generated in this way by means of the camera are then compared with corresponding good images of the print subject in an image processing computer.
  • the printed sheets recognized as waste can be ejected via a waste gate. It is extremely important that both the good image reference is error-free and that the real printed image and captured by the image acquisition system really corresponds to the real printed image. Errors caused by the image acquisition, e.g. B. due to a lack of lighting, an unclean lens of the camera or other sources of influence must not have a negative impact on the inspection process.
  • This object is achieved by a method for inspecting images of printed products in a machine processing printing materials by means of a computer, with the printed products produced being recorded and digitized by means of at least one image sensor as part of the image inspection by an image acquisition system, and the resulting recorded digital print images by the computer be compared with a digital reference image and, in the event of discrepancies between the recorded digital print images and the digital reference image, the incorrectly recognized print products are ejected, which is characterized in that the computer separates areas with paper white for print and reference images and determines their color values and displays them Based on the differences between these two color values, it compensates for differences in brightness between print and reference images. With color values, the color value of the respective paper white is meant here.
  • Paper white is already known from prepress, since the print substrate to be used is part of the print job data. By determining a corresponding value for the real paper white of the printed image and comparing it with the nominal value, a corresponding difference in brightness can be determined and compensated for.
  • the target value for the paper white corresponds logically to the paper white of the reference image with which the captured print image is compared in the course of the image inspection. This target value is therefore identical to the paper white known from prepress, since the reference image was either created as a good image from the prepress data.
  • the good image can also be taught in from actually printed print images, with only print images generated without printing errors and with paper white that is as real as possible being used during the teaching process. In this case, the paper white of the reference image may differ slightly from the paper white of the prepress data.
  • a preferred development of the method according to the invention is that the brightness of the print or the reference image is adapted to compensate for the differences in brightness between the print and reference images. It is of secondary importance whether the brightness of the print or the reference image is adjusted, as long as the difference in brightness is balanced out before the two images are compared.
  • a decision criterion could e.g. B. be that you always brighten the darker image or vice versa darken the lighter image. Or you can simplify the algorithm by specifying a corresponding image, print or reference image as the image to be adapted from the outset.
  • the computer checks the standard deviation in paper white in the captured print image in order to exclude paint splashes in the paper white from changing the color value of the paper white in an inadmissible manner.
  • Splashes of paint would falsify the determined color value of the respective area with paper white and thus lead to an incorrect brightness value, which in turn negatively influences the method according to the invention with regard to the adaptation of the brightness difference or even makes it completely unusable. It must therefore be ruled out that there are splashes of paint in the paper white, and this is done by checking the standard deviation in the paper white in the print image accordingly.
  • the computer determines the color value of the paper white by calculating the mean value or the median of all separated paper white areas.
  • the easiest way to proceed is by simply calculating the mean value of the color values of all separated paper white areas and for each of the captured digitized print images and the Compare the reference or good image with one another.
  • Other calculation approaches for the paper white are also conceivable, such as B. to always adopt the darkest or the lightest value in the separated paper white area.
  • Another preferred development of the method according to the invention is that the comparison of the captured digital print images with a digital reference image takes place by the computer for image inspection by creating and evaluating a difference image between the respective captured digital print image and the digital reference image.
  • Several approaches are possible for comparing the captured print images with the digital reference / good image.
  • procedures such as B. the adjustment of pixel to pixel are relatively laborious and expensive
  • the method by means of the formation of a difference image is preferred. In the ideal case, when both images are identical, this difference image is just black, i.e. the color values are zero.
  • the difference image also has the advantage that it can be formed relatively easily from the captured print image and reference image by means of a matrix operation.
  • a further preferred development of the method according to the invention is that the separation of the paper white is carried out by the computer using a threshold value method, with all areas in the image that are darker than the paper white being masked out. After this operation, you only have color values in the corresponding image in areas that correspond to the paper white or are lighter. All other areas are black or have the color value zero.
  • a further preferred development of the method according to the invention is that a predetermined paper white value from the prepress stage is used as the threshold value for the paper white.
  • a predefined value which usually comes from the prepress stage or the reference / good image, must be available. If the reference image is created from the prepress data, this predetermined value should logically be identical to the mean or median value from the reference image. Just in case you want to be sure, too To capture all paper white areas and a blurring in the area assignment is acceptable, the predetermined threshold value can also be lower than the expected paper white value. In the case of creation by teaching-in, the specified value should at least be similar.
  • the threshold value method is applied to the digital reference image, creating a digital mask with which the paper white areas of the respective captured digital print image are separated.
  • the threshold value method is applied to the digital reference image and an image is then obtained in which only the paper white areas have color values above zero, while the rest is correspondingly zero. If this image, which corresponds to a bit mask or a digital mask, is placed over the captured digital print image or multiplied by it, all areas of the print image that are not in the paper white area are masked out in the captured digital print image or to zero set.
  • the separation of the paper white and its color values are determined by the computer by declaring a predetermined area of the printed product to be inspected as the paper white area, in which the color values of the paper white are then determined. If, for whatever reason, the process of separating the paper white areas using a threshold value and a mask generated in this way from the reference image is not possible or too costly, the reference or good image can also simply be analyzed in prepress and the area can thus be determined directly from the print image data and can be used for the method according to the invention. It is even easier if the paper white range is known even without analysis. For example, if there is an area in the existing print image data of the print job which in any case always remains unprinted, e.g. B. on the edge of the print substrate. This fixed and clearly delimited area can then be used to determine the respective paper white value.
  • Another preferred development of the method according to the invention is that before the separation of the paper white for the captured digital print images, these are digitally rectified by the computer.
  • Several algorithms are known from the prior art with which distortions or deformations of the captured digital print image can be compensated for. The additional use of these algorithms naturally facilitates the method according to the invention, since not all deformations of the arch can be covered, recognized and treated by means of the brightness compensation. Furthermore, these algorithms or methods for correcting the print image can usually not completely correct the distortion, so that the method according to the invention is even more efficient in combination with these known methods.
  • Figure 1 shows an example of an image acquisition system 2 which uses the method according to the invention. It consists of at least one image sensor 5, usually a camera 5, which is integrated into the sheet-fed printing press 4. The at least one camera 5 records the print images generated by the printing press 4 and sends the data to a computer 3, 6 for evaluation.
  • This computer 3, 6 can be its own separate computer 6, for example one or more specialized image processing computers 6, or it can also be identical to the control computer 3 of the printing press 4.
  • At least the control computer 3 of the printing press 4 has a display 7 on which the results of the image inspection are displayed.
  • the method according to the invention itself is shown schematically with regard to its sequence in Figure 1 shown in a preferred embodiment.
  • a reference image from prepress and a printed image recorded by a camera are compared with one another by the computer.
  • the method presented here provides for the brightness of the entire sheet to be adjusted in such a way that it optimally fits the reference image and the camera image.
  • an average value for brightness is formed over all paper white areas of the recorded sheet and the reference image. If the two mean values deviate from one another, the brightness of the reference image should be changed in such a way that the mean value of the paper white areas is the same.
  • An important point is the reliable identification of paper white areas.
  • all printed areas in the reference image are identified using a threshold value method. All areas in the image that are darker than paper white do not belong to paper white. In this way, a mask is created which, after rectifying the camera image, is also placed over the camera image. The areas that remain are then consequently paper white.
  • Air turbulence and other effects can cause small sheet deformations on the printing cylinder of the printing machine during image acquisition. These deformations make themselves through both geometric distortions and through Fluctuations in brightness noticeable, as exemplified in Figure 2 shown in the oval darkening in the center of the picture.
  • the aim of the new method is to adjust the global brightness values of the reference image and the camera image in order to avoid pseudo errors due to small arc deformations.
  • the paper white values in the reference image and in the camera image must be determined and then the brightness values must be adjusted.
  • the paper white of the reference image is always set to a defined value in prepress.
  • the paper white mean value in the reference image is 243.
  • All values ⁇ 243 form the subject and can be removed from the reference image using a threshold value method.
  • the resulting image shows in the form of a digital mask Figure 6 .
  • a mean value of the gray values of all pixels in the masked camera image whose gray value is not equal to 0 is now formed.
  • the value for this example image is 226.8.
  • the mean values in paper white between the reference image and the camera image therefore deviate by approx. 13 gray values.
  • the camera image is now brightened by these 13 gray values in order to adapt it to the Adjust reference image. This results in an adapted camera image, which is converted into Figure 8 will be shown.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Inking, Control Or Cleaning Of Printing Machines (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zur Bildinspektion von Druckerzeugnissen in einer Bedruckstoffe verarbeitenden Maschine mittels eines Rechners, wobei im Rahmen der Bildinspektion durch ein Bilderfassungssystem die produzierten Druckerzeugnisse mittels mindestens eines Bildsensors erfasst und digitalisiert werden, die so entstandenen erfassten, digitalen Druckbilder durch den Rechner mit einem digitalen Referenzbild abgeglichen werden und im Falle von Abweichungen der erfassten, digitalen Druckbilder vom digitalen Referenzbild die fehlerhaft erkannten Druckerzeugnisse ausgeschleust werden, welches dadurch gekennzeichnet ist, dass der Rechner für Druck- und Referenzbilder jeweils Bereiche mit Papierweiß separiert und dessen Farbwerte ermittelt und auf Basis der Unterschiede zwischen diesen beiden Farbwerten Helligkeitsunterschiede zwischen Druck- und Referenzbildern ausgleicht.

Figure imgaf001
Method for the image inspection of printed products in a machine processing printing materials by means of a computer, whereby the printed products produced are recorded and digitized by means of at least one image sensor as part of the image inspection by an image acquisition system, and the recorded digital print images created in this way are compared with a digital reference image by the computer and in the event of discrepancies between the captured digital print images and the digital reference image, the incorrectly recognized print products are ejected, which is characterized in that the computer separates areas with paper white for print and reference images and determines their color values based on the differences between these two Color values compensates for differences in brightness between print and reference images.
Figure imgaf001

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bildinspektion von Druckerzeugnissen mit einem automatisierten Helligkeitsausgleich.The present invention relates to a method for image inspection of printed products with an automated brightness compensation.

Die Erfindung liegt im technischen Gebiet der Druckqualitätskontrolle.The invention lies in the technical field of print quality control.

In der heutigen Druckindustrie wird insbesondere bei größeren Druckmaschinen die Qualitätskontrolle automatisiert über sogenannte Inline-Inspektionssysteme, im Weiteren als Bilderfassungssystem bezeichnet, durchgeführt. Inline bedeutet in diesem Fall, dass das Bilderfassungssystem, genauer gesagt die Kamera des Bilderfassungssystems, in der Druckmaschine angebracht ist. Sie wird dabei üblicherweise nach dem letzten Druckwerk oder, falls vorhanden, einer weiteren Nachbearbeitungsstation, wie zum Beispiel einem Lackwerk, angebracht und erfasst die von der Druckmaschine erzeugten Druckprodukte. Es kann sich dabei um eine Kamera oder auch um ein Kamerasystem mit mehreren Kameras handeln. Auch ist der Einsatz anderer Bildsensoren möglich. Vereinfachend wird im Folgenden jedoch von "Kamera" gesprochen. Die derart mittels der Kamera erzeugten digitalen Druckbilder werden dann in einem Bildverarbeitungsrechner mit entsprechenden Gutbildern des Drucksujets abgeglichen. Diese Gutbilder können dabei entweder aus den Vorstufendaten erstellt werden oder sie werden eingelernt. Einlernen bedeutet in diesem Fall, dass eine Reihe von Druckprodukten mit dem zu erzeugenden Drucksujet gedruckt und von der Kamera des Bilderfassungssystems erfasst wird. Diese Musterdrucke sollten möglichst fehlerfrei sein und werden daher nach Erfassen durch das Bilderfassungssystem als digitale Referenz im Bildverarbeitungsrechner als Gutbild hinterlegt. Im Fortdruckprozess werden dann durch die Kamera des Bilderfassungssystems das erzeugte Druckbild oder Teile davon erfasst und mit der digital eingelernten oder der aus den Vorstufendaten erstellten Gutbildreferenz abgeglichen. Werden dabei Abweichungen zwischen den im Fortdruck produzierten Druckprodukten und der digitalen Referenz festgestellt, so werden diese Abweichungen dem Drucker angezeigt, welcher dann entscheiden kann, ob diese Abweichungen akzeptabel sind oder ob die derart erzeugten Druckprodukte als Makulatur zu entfernen sind. Die als Makulatur erkannten Druckbögen können über eine Makulaturweiche ausgeschleust werden. Dabei ist es von enormer Wichtigkeit, dass sowohl die Gutbildreferenz fehlerfrei ist, als auch, dass das real Gedruckte und vom Bilderfassungssystem erfasste Druckbild auch wirklich dem realen gedruckten Druckbild entspricht. Fehler, die durch die Bildaufnahme entstehen, z. B. durch eine mangelnde Beleuchtung, eine unsaubere Linse der Kamera oder sonstige Einflussquellen, dürfen nicht den Inspektionsprozess negativ beeinflussen.In today's printing industry, in particular in the case of larger printing machines, quality control is carried out automatically using so-called inline inspection systems, hereinafter referred to as image acquisition systems. In this case, inline means that the image acquisition system, more precisely the camera of the image acquisition system, is mounted in the printing press. It is usually attached after the last printing unit or, if available, a further post-processing station, such as a coating unit, and records the printed products produced by the printing press. It can be a camera or a camera system with several cameras. The use of other image sensors is also possible. For the sake of simplicity, however, the term “camera” is used in the following. The digital print images generated in this way by means of the camera are then compared with corresponding good images of the print subject in an image processing computer. These good images can either be created from the prepress data or they are taught in. In this case, teach-in means that a series of print products are printed with the print subject to be generated and captured by the camera of the image acquisition system. These sample prints should be as error-free as possible and are therefore stored as a good image as a digital reference in the image processing computer after they have been recorded by the image acquisition system. In the production process, the camera of the image acquisition system then captures the generated print image or parts thereof and compares it with the digitally taught-in reference or the reference image created from the prepress data. If deviations are found between the printed products produced during production and the digital reference, these deviations are displayed to the printer, who can then decide whether these deviations are acceptable or whether those produced in this way Print products are to be removed as waste. The printed sheets recognized as waste can be ejected via a waste gate. It is extremely important that both the good image reference is error-free and that the real printed image and captured by the image acquisition system really corresponds to the real printed image. Errors caused by the image acquisition, e.g. B. due to a lack of lighting, an unclean lens of the camera or other sources of influence must not have a negative impact on the inspection process.

Ein sehr spezifisches Problem, welches die Inspektion eben in dieser Hinsicht negativ beeinflusst, stellen Unregelmäßigkeiten beim Drucksubstrattransport innerhalb der Druckmaschine dar. Das Bilderfassungssystem ist für eine gute Bildaufnahme darauf angewiesen, dass das transportierte Drucksubstrat an der Kamera des Bilderfassungssystems möglichst ruhig und gleichmäßig vorbeitransportiert wird. Besonders bei Bogendruckmaschinen ist dies sehr herausfordernd. Denn durch Luftverwirbelungen und andere Effekte beim Bogentransport kann es zu kleinen Verformungen auf dem Druckzylinder der Druckmaschine während der Bildaufnahme kommen. Diese Verformungen machen sich durch den sich verändernden Abstand von Bogenoberfläche zur Kamera sowohl durch geometrische Verzerrungen als auch durch Helligkeitsschwankungen bemerkbar. Da diese Abweichungen in der digitalen Referenz natürlich nicht vorhanden sind, wird sie bei einem Abgleich des erfassten, aufgenommenen Druckbildes mit der digitalen Referenz als Druckfehler klassifiziert. Bei einer manuellen Überwachung des Bildinspektionsverfahrens durch einen Drucker, erkennt dieser natürlich, dass es sich dabei nicht um echte Druckfehler handelt und weiß diese Fehleranzeigen dementsprechend einzuordnen. Für eine vollständig automatisierte Bildinspektion wäre es jedoch notwendig, solche Falschpositivfehler oder Pseudofehler von vorneherein auszuschließen. Die bisherigen im Stand der Technik bekannten Verfahren sind aber sehr empfindlich für das Auftreten von Pseudofehlern durch von Bogenverformung verursachten Helligkeitsveränderungen.A very specific problem, which negatively affects the inspection in this regard, are irregularities in the transport of the print substrate within the printing machine. This is particularly challenging with sheet-fed printing presses. This is because air turbulence and other effects during sheet transport can cause small deformations on the printing cylinder of the printing machine during image acquisition. These deformations become noticeable through the changing distance from the surface of the sheet to the camera, both through geometric distortions and through fluctuations in brightness. Since these deviations are of course not present in the digital reference, they are classified as printing errors when the captured, recorded print image is compared with the digital reference. When the image inspection process is monitored manually by a printer, the printer naturally recognizes that it is not a real printing error and knows how to classify these error messages accordingly. For a fully automated image inspection, however, it would be necessary to exclude such false positive errors or pseudo errors from the outset. However, the methods known to date in the prior art are very sensitive to the occurrence of pseudo-errors due to changes in brightness caused by arc deformation.

Aus dem deutschen Patent DE 10 2018 201 794 B3 ist dabei Verfahren zur Bildinspektion von Druckerzeugnissen in einer Bedruckstoffe verarbeitenden Maschine mittels eines Rechners bekannt, wobei im Rahmen der Bildinspektion durch ein Bilderfassungssystem die produzierten Druckerzeugnissen mittels mindestens eines Bildsensors erfasst und digitalisiert werden, die so entstandenen erfassten, digitalen Druckbilder durch den Rechner mit einem digitalen Referenzbild abgeglichen werden, der Rechner das digitale Referenzbild vorher einer Glättung unterzieht, und im Falle von Abweichungen der erfassten, digitalen Druckbilder vom digitalen Referenzbild die fehlerhaft erkannten Druckerzeugnisse ausgeschleust werden, und welches dadurch gekennzeichnet ist, dass vor der Glättung des digitalen Referenzbildes der Rechner einen Abgleich der erfassten, digitalen Druckbilder mit dem digitalen Referenzbild durchführt, das Ergebnis des Abgleichs auf Bildbereiche mit unscharfen Regionen im erfassten, digitalen Druckbild untersucht, geeignete Glättungsfaktoren für diese unscharfen Bildbereiche berechnet und die Glättung des digitalen Referenzbildes dann mit den berechneten, geeigneten Glättungsfaktoren für diese unscharfen Bildbereiche durchführt, sodass in diesen Bildbereichen das digitale Referenzbild eine vergleichbare Unschärfe aufweist, wie das erfasste, digitale Druckbild. Dieses Vorgehen offenbart jedoch nur die Entzerrung gefundener und zur Entzerrung geeigneter Abweichungen im erfassten Druckbild vor dem Abgleich mit dem Referenzbild. Nicht gefundene oder zur Entzerrung nicht geeignete Abweichungen können damit nicht behandelt werden. Auch Helligkeitsunterschiede, welche durch die Verformungen verursacht werden, kann dieses Verfahren nicht beheben. Somit können weiterhin derartige Pseudofehler auftreten.From the German patent DE 10 2018 201 794 B3 a method for inspecting images of printed products in a machine processing printing materials by means of a computer is known, with an image acquisition system as part of the image inspection the printed products produced are captured and digitized by means of at least one image sensor, the captured digital print images created in this way are compared with a digital reference image by the computer, the computer subjects the digital reference image to a smoothing beforehand, and in the event of deviations of the captured digital print images from digital reference image, the incorrectly recognized print products are ejected, and which is characterized in that before the smoothing of the digital reference image, the computer compares the captured digital print images with the digital reference image, the result of the comparison to image areas with blurred regions in the captured digital The print image is examined, suitable smoothing factors are calculated for these blurred image areas and the smoothing of the digital reference image is then carried out with the calculated, suitable smoothing factors for these blurred image areas, so that in In these image areas, the digital reference image has a comparable blurring as the captured digital print image. However, this procedure only reveals the rectification of deviations found and suitable for rectification in the captured print image before the comparison with the reference image. Deviations which are not found or which are not suitable for equalization cannot be dealt with. Even differences in brightness, which are caused by the deformations, cannot be remedied by this method. Such pseudo-errors can therefore continue to occur.

Zum Thema der Helligkeitsunterschiede ist aus der noch nicht veröffentlichten, deutschen Patenanmeldung 10 2019 204551.0 ein Verfahren zur Bildinspektion von Druckerzeugnissen einer Bedruckstoffe verarbeitenden Maschine mittels eines Rechners bekannt, wobei im Rahmen der Bildinspektion durch ein Bilderfassungssystem die produzierten Druckerzeugnisse mittels mindestens eines Bildsensors erfasst und digitalisiert werden, die so entstandenen erfassten, digitalen Druckbilder durch den Rechner mit einem digitalen Referenzbild abgeglichen werden und im Falle von Abweichungen der erfassten, digitalen Druckbilder vom digitalen Referenzbild die fehlerhaft erkannten Druckerzeugnisse ausgeschleust werden, welches dadurch gekennzeichnet ist, dass der Rechner die digitalen Druck- und Referenzbilder jeweils in Teilbilder aufteilt und Helligkeitsunterschiede zwischen den Teilbildern ausgleicht. Dieses Verfahren hat jedoch den Nachteil, dass die Aufteilung in Teilbilder für Druck- und Referenzbild identisch erfolgen muss. Weichen die jeweils miteinander verglichenen Teilbilder nur geringfügig voneinander ab, resultiert dies in weiteren Verfahrensfehlern bei der folgenden Inspektion. Zudem ist es relativ rechenaufwendig bei der Durchführung.On the subject of the differences in brightness is from the as yet unpublished German patent application 10 2019 204551.0 a method for the image inspection of printed products of a printing material processing machine by means of a computer is known, the printed products produced being recorded and digitized by means of at least one image sensor as part of the image inspection by an image acquisition system, and the resulting digital print images are compared with a digital reference image by the computer and in the event of discrepancies between the recorded digital print images and the digital reference image, the incorrectly recognized print products are ejected, which is characterized in that the computer divides the digital print and reference images into partial images and compensates for differences in brightness between the partial images. However, this method has the disadvantage that the division into partial images for print and Reference image must be identical. If the partial images compared with one another deviate only slightly from one another, this results in further procedural errors in the subsequent inspection. In addition, it is relatively computationally expensive to carry out.

Daher ist es die Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren zur Bildinspektion von Druckerzeugnissen zu offenbaren, welches die Effizienz der Bildinspektion steigert, indem es auftretende Pseudofehler erkennt und bestmöglich vermeidet.It is therefore the object of the present invention to disclose an alternative method for image inspection of printed products which increases the efficiency of image inspection by recognizing occurring pseudo errors and avoiding them as best as possible.

Gelöst wird diese Aufgabe durch ein Verfahren zur Bildinspektion von Druckerzeugnissen in einer Bedruckstoffe verarbeitenden Maschine mittels eines Rechners, wobei im Rahmen der Bildinspektion durch ein Bilderfassungssystem die produzierten Druckerzeugnisse mittels mindestens eines Bildsensors erfasst und digitalisiert werden, die so entstandenen erfassten, digitalen Druckbilder durch den Rechner mit einem digitalen Referenzbild abgeglichen werden und im Falle von Abweichungen der erfassten, digitalen Druckbilder vom digitalen Referenzbild die fehlerhaft erkannten Druckerzeugnisse ausgeschleust werden, welches dadurch gekennzeichnet ist, dass der Rechner für Druck- und Referenzbilder jeweils Bereiche mit Papierweiß separiert und dessen Farbwerte ermittelt und auf Basis der Unterschiede zwischen diesen beiden Farbwerten Helligkeitsunterschiede zwischen Druck- und Referenzbildern ausgleicht. Mit Farbwerten ist hier der Farbwert des jeweiligen Papierweißes gemeint. Das Papierweiß ist aus der Druckvorstufe bereits bekannt, da das zu verwendende Drucksubstrat Teil der Druckauftragsdaten ist. Indem ein entsprechender Wert für das reale Papierweiß des gedruckten Bildes ermittelt wird und mit dem Sollwert verglichen wird, kann ein entsprechender Unterschied in der Helligkeit ermittelt und ausgeglichen werden. Der Sollwert für das Papierweiß entspricht dabei logischerweise dem Papierweiß des Referenzbildes, mit welchem im Rahmen der Bildinspektion das erfasste Druckbild abgeglichen wird. Dieser Sollwert deswegen mit dem aus der Vorstufe bekannten Papierweiß identisch, da das Referenzbild entweder als Gutbild aus den Druckvorstufendaten erstellt wurde. Alternativ kann das Gutbild auch von real gedruckten Druckbildern eingelernt werden, wobei während des Einlernprozesses nur erzeugte Druckbilder ohne Druckfehler und mit möglichst realem Papierweiß verwendet werden. In diesem Fall kann das Papierweiß des Referenzbildes vom Papierweiß der Vorstufendaten geringfügig abweichen.This object is achieved by a method for inspecting images of printed products in a machine processing printing materials by means of a computer, with the printed products produced being recorded and digitized by means of at least one image sensor as part of the image inspection by an image acquisition system, and the resulting recorded digital print images by the computer be compared with a digital reference image and, in the event of discrepancies between the recorded digital print images and the digital reference image, the incorrectly recognized print products are ejected, which is characterized in that the computer separates areas with paper white for print and reference images and determines their color values and displays them Based on the differences between these two color values, it compensates for differences in brightness between print and reference images. With color values, the color value of the respective paper white is meant here. Paper white is already known from prepress, since the print substrate to be used is part of the print job data. By determining a corresponding value for the real paper white of the printed image and comparing it with the nominal value, a corresponding difference in brightness can be determined and compensated for. The target value for the paper white corresponds logically to the paper white of the reference image with which the captured print image is compared in the course of the image inspection. This target value is therefore identical to the paper white known from prepress, since the reference image was either created as a good image from the prepress data. Alternatively, the good image can also be taught in from actually printed print images, with only print images generated without printing errors and with paper white that is as real as possible being used during the teaching process. In In this case, the paper white of the reference image may differ slightly from the paper white of the prepress data.

Vorteilhafte und daher bevorzugte Weiterbildungen des Verfahrens ergeben sich aus den zugehörigen Unteransprüchen sowie aus der Beschreibung mit den zugehörigen Zeichnungen.Advantageous and therefore preferred developments of the method emerge from the associated subclaims and from the description with the associated drawings.

Eine bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass für den Ausgleich der Helligkeitsunterschiede zwischen Druck- und Referenzbildern die Helligkeit des Druck- oder des Referenzbildes angepasst wird. Es ist zweitrangig, ob die Helligkeit des Druck- oder des Referenzbildes angepasst wird, solange der Helligkeitsunterschied vor dem Abgleich der beiden Bilder ausgeglichen wird. Ein Entscheidungskriterium könnte z. B. sein, dass man stets das jeweils dunklere Bild aufhellt oder vice versa das hellere Bild abdunkelt. Oder man vereinfacht den Algorithmus, indem man sich von vornherein auf ein entsprechendes Bild, Druck- oder Referenzbild, als anzupassendes Bild festlegt.A preferred development of the method according to the invention is that the brightness of the print or the reference image is adapted to compensate for the differences in brightness between the print and reference images. It is of secondary importance whether the brightness of the print or the reference image is adjusted, as long as the difference in brightness is balanced out before the two images are compared. A decision criterion could e.g. B. be that you always brighten the darker image or vice versa darken the lighter image. Or you can simplify the algorithm by specifying a corresponding image, print or reference image as the image to be adapted from the outset.

Eine weitere bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass der Rechner die Standardabweichung im Papierweiß im erfassten Druckbild überprüft, um auszuschließen, dass Farbspritzer im Papierweiß den Farbwert des Papierweiß' unzulässig verändern. Farbspritzer würden den ermittelten Farbwert des jeweiligen Bereiches mit Papierweiß verfälschen und somit zu einem falschen Helligkeitswert führen, welcher wiederum das erfindungsgemäße Verfahren bezüglich der Anpassung des Helligkeitsunterschiedes negativ beeinflusst oder gar völlig unbrauchbar macht. Daher muss ausgeschlossen werden, dass sich Farbspritzer im Papierweiß befinden, und dies geschieht, indem man die Standardabweichung im Papierweiß im Druckbild entsprechend überprüft.Another preferred development of the method according to the invention is that the computer checks the standard deviation in paper white in the captured print image in order to exclude paint splashes in the paper white from changing the color value of the paper white in an inadmissible manner. Splashes of paint would falsify the determined color value of the respective area with paper white and thus lead to an incorrect brightness value, which in turn negatively influences the method according to the invention with regard to the adaptation of the brightness difference or even makes it completely unusable. It must therefore be ruled out that there are splashes of paint in the paper white, and this is done by checking the standard deviation in the paper white in the print image accordingly.

Eine weitere bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass der Rechner den Farbwert des Papierweiß' ermittelt, indem er den Mittelwert oder den Median aller separierten Papierweißbereiche berechnet. Am leichtesten kann vorgegangen werden, indem man einfach den Mittelwert der Farbwerte sämtlicher separierter Papierweißbereiche berechnet und jeweils für erfasstes digitalisiertes Druckbild und das Referenz- bzw. Gutbild miteinander abgleicht. Man kann jedoch auch den Medianwert nehmen, falls z. B. zu viele Farbspritzer im Papierweißbereich im erfassten Druckbild den Mittelwert verändern würden. Auch weitere Berechnungsansätze für das Papierweiß sind denkbar, wie z. B. stets den dunkelsten oder den hellsten Wert im separierten Papierweißbereich zu übernehmen.Another preferred development of the method according to the invention is that the computer determines the color value of the paper white by calculating the mean value or the median of all separated paper white areas. The easiest way to proceed is by simply calculating the mean value of the color values of all separated paper white areas and for each of the captured digitized print images and the Compare the reference or good image with one another. However, one can also take the median value, if z. B. too many splashes of paint in the paper white area in the captured print image would change the mean value. Other calculation approaches for the paper white are also conceivable, such as B. to always adopt the darkest or the lightest value in the separated paper white area.

Eine weitere bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass der Abgleich der erfassten, digitalen Druckbilder mit einem digitalen Referenzbild durch den Rechner zur Bildinspektion durch Erstellung und Auswertung eines Differenzbildes zwischen dem jeweiligen erfassten, digitalen Druckbild mit dem digitalen Referenzbild stattfindet. Für den Abgleich der erfassten Druckbilder mit dem digitalen Referenz-/Gutbild sind mehrere Ansätze möglich. Da jedoch Vorgehensweisen wie z. B. der Abgleich von Pixel zu Pixel relativ mühselig und aufwendig sind, wird das Verfahren mittels der Bildung eines Differenzbildes bevorzugt. Im Idealfall, wenn beide Bilder identisch sind, ist dieses Differenzbild einfach nur schwarz, d.h. die Farbwerte sind null. Das Differenzbild hat zudem den Vorteil, dass es sich relativ einfach aus erfasstem Druckbild und Referenzbild mittels einer Matrixoperation bilden lässt.Another preferred development of the method according to the invention is that the comparison of the captured digital print images with a digital reference image takes place by the computer for image inspection by creating and evaluating a difference image between the respective captured digital print image and the digital reference image. Several approaches are possible for comparing the captured print images with the digital reference / good image. However, since procedures such as B. the adjustment of pixel to pixel are relatively laborious and expensive, the method by means of the formation of a difference image is preferred. In the ideal case, when both images are identical, this difference image is just black, i.e. the color values are zero. The difference image also has the advantage that it can be formed relatively easily from the captured print image and reference image by means of a matrix operation.

Eine weitere bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass die Separation des Papierweiß' durch den Rechner über ein Schwellwertverfahren durchgeführt wird, wobei alle Bereiche im Bild die dunkler sind als das Papierweiß ausgeblendet werden. Nach dieser Operation hat man auf dem entsprechenden Bild nur noch Farbwerte in Bereichen, die dem Papierweiß entsprechen bzw. heller sind. Alle anderen Bereiche sind schwarz bzw. haben den Farbwert null.A further preferred development of the method according to the invention is that the separation of the paper white is carried out by the computer using a threshold value method, with all areas in the image that are darker than the paper white being masked out. After this operation, you only have color values in the corresponding image in areas that correspond to the paper white or are lighter. All other areas are black or have the color value zero.

Eine weitere bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass als Schwellwert für das Papierweiß der ein vorgegebener Papierweißwert aus der Druckvorstufe verwendet wird. Für das Papierweiß muss dabei natürlich ein vorgegebener Wert, der üblicherweise aus der Druckvorstufe bzw. dem Referenz-/Gutbild stammt, vorhanden sein. Dieser vorgegebene Wert sollte im Falle einer Erstellung des Referenzbildes aus den Vorstufendaten logischerweise mit dem Mittel- oder Medianwert aus dem Referenzbild identisch sein. Nur für den Fall, dass man sichergehen will, auch sämtliche Papierweißbereiche zu erfassen und eine Unschärfe in der Bereichszuordnung akzeptabel ist, kann der vorgegebene Schwellwert auch niedriger als der zu erwartende Papierweißwert sein. Im Falle einer Erstellung durch Einlernen sollte der vorgegebene Wert zumindest ähnlich sein.A further preferred development of the method according to the invention is that a predetermined paper white value from the prepress stage is used as the threshold value for the paper white. For the paper white, of course, a predefined value, which usually comes from the prepress stage or the reference / good image, must be available. If the reference image is created from the prepress data, this predetermined value should logically be identical to the mean or median value from the reference image. Just in case you want to be sure, too To capture all paper white areas and a blurring in the area assignment is acceptable, the predetermined threshold value can also be lower than the expected paper white value. In the case of creation by teaching-in, the specified value should at least be similar.

Eine weitere bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass das Schwellwertverfahren auf das digitale Referenzbild angewandt wird, wodurch eine digitale Maske entsteht, mit welcher die Papierweißbereiche des jeweiligen erfassten, digitalen Druckbildes separiert werden. D. h. man wendet das Schwellwertverfahren auf das digitale Referenzbild an und erhält dann ein Bild, in dem nur noch die Papierweißbereiche Farbwerte oberhalb von null haben, während der Rest entsprechend null ist. Legt man dieses Bild, was quasi einer Bitmaske, bzw, einer digitalen Maske entspricht, über das erfasste digitale Druckbild bzw. multipliziert es mit diesem, werden sämtliche Bereiche des Druckbildes, die nicht im Papierweißbereich liegen, im erfassten digitalen Druckbild ausgeblendet bzw. auf null gesetzt.A further preferred development of the method according to the invention is that the threshold value method is applied to the digital reference image, creating a digital mask with which the paper white areas of the respective captured digital print image are separated. I. E. the threshold value method is applied to the digital reference image and an image is then obtained in which only the paper white areas have color values above zero, while the rest is correspondingly zero. If this image, which corresponds to a bit mask or a digital mask, is placed over the captured digital print image or multiplied by it, all areas of the print image that are not in the paper white area are masked out in the captured digital print image or to zero set.

Eine weitere bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass die Separation des Papierweiß' und die Ermittlung von dessen Farbwerten durch den Rechner geschieht, indem ein vorgegebener Bereich des zu inspizierenden Druckerzeugnisses als Papierweißbereich deklariert wird, in welchem dann die Farbwerte des Papierweiß ermittelt werden. Falls aus irgendwelchen Gründen das Verfahren der Separierung der Papierweißbereiche mittels Schwellwert und einer so erzeugten Maske aus dem Referenzbild nicht möglich oder zu aufwendig ist, kann auch einfach in der Vorstufe das Referenz- bzw. Gutbild analysiert werden und somit der Bereich direkt aus den Druckbilddaten ermittelt und für das erfindungsgemäße Verfahren verwendet werden. Noch einfacher ist es, wenn auch ohne Analyse der Papierweißbeeich bekannt ist. Zum Beispiel wenn bei den vorliegenden Druckbilddaten des Druckauftrages ein Bereich existiert, der auf jeden Fall stets unbedruckt bleibt, z. B. am Rand des Drucksubstrats. Dieser feststehende und klar abgegrenzte Bereich kann dann zur Ermittlung des jeweiligen Papierweißwertes verwendet werden.Another preferred development of the method according to the invention is that the separation of the paper white and its color values are determined by the computer by declaring a predetermined area of the printed product to be inspected as the paper white area, in which the color values of the paper white are then determined. If, for whatever reason, the process of separating the paper white areas using a threshold value and a mask generated in this way from the reference image is not possible or too costly, the reference or good image can also simply be analyzed in prepress and the area can thus be determined directly from the print image data and can be used for the method according to the invention. It is even easier if the paper white range is known even without analysis. For example, if there is an area in the existing print image data of the print job which in any case always remains unprinted, e.g. B. on the edge of the print substrate. This fixed and clearly delimited area can then be used to determine the respective paper white value.

Eine weitere bevorzugte Weiterbildung des erfindungsgemäßen Verfahrens ist dabei, dass vor der Separation des Papierweiß' für die erfassten, digitalen Druckbilder diese vom Rechner digital entzerrt werden. Aus dem Stand der Technik sind mehrere Algorithmen bekannt, mit denen Verzerrungen oder Verformungen des erfassten digitalen Druckbildes ausgeglichen werden können. Die zusätzliche Anwendung dieser Algorithmen erleichtert natürlich das erfindungsgemäße Verfahren, da mittels des Helligkeitsausgleiches nicht sämtliche Verformungen des Bogens abgedeckt, erkannt und behandelt werden können. Des Weiteren können diese Algorithmen bzw. Verfahren zur Druckbildentzerrung die Entzerrung meist auch nicht vollständig beheben, so dass das erfindungsgemäße Verfahren in Kombination mit diesen bekannten Verfahren noch einmal effizienter wird.Another preferred development of the method according to the invention is that before the separation of the paper white for the captured digital print images, these are digitally rectified by the computer. Several algorithms are known from the prior art with which distortions or deformations of the captured digital print image can be compensated for. The additional use of these algorithms naturally facilitates the method according to the invention, since not all deformations of the arch can be covered, recognized and treated by means of the brightness compensation. Furthermore, these algorithms or methods for correcting the print image can usually not completely correct the distortion, so that the method according to the invention is even more efficient in combination with these known methods.

Die Erfindung als solche sowie konstruktiv und/oder funktionell vorteilhafte Weiterbildungen der Erfindung werden nachfolgend unter Bezug auf die zugehörigen Zeichnungen anhand wenigstens eines bevorzugten Ausführungsbeispiels näher beschrieben. In den Zeichnungen sind einander entsprechende Elemente mit jeweils denselben Bezugszeichen versehen.The invention as such as well as structurally and / or functionally advantageous developments of the invention are described in more detail below with reference to the associated drawings using at least one preferred exemplary embodiment. In the drawings, elements that correspond to one another are provided with the same reference numerals.

Die Figuren zeigen:

Figur 1:
ein Beispiel eines Bildinspektionssystems in einer Bogenoffset - Druckmaschine
Figur 2:
ein Kamerabild mit Bogenverformung im Mittelteil
Figur 3:
ein Beispiel eines Referenzbildes
Figur 4:
ein Differenzbild mit markiertem Bereich mit Helligkeitsunterschied
Figur 5:
eine grafische Darstellung der relevanten Bildwerte
Figur 6:
ein generiertes Maskenbild aus dem Referenzbild
Figur 7:
das Resultat der Anwendung der Maske auf das Kamerabild
Figur 8:
das helligkeitsangepasste Kamerabild
Figur 9:
das Differenzbild zwischen Referenzbild und angepasstem Kamerabild
Figur 10:
die grafisch dargestellten angepassten relevanten Bildwerte
Figur 11:
schematisch den Ablauf des erfindungsgemäßen Verfahrens
The figures show:
Figure 1:
an example of an image inspection system in a sheet-fed offset printing press
Figure 2:
a camera image with arch deformation in the middle part
Figure 3:
an example of a reference image
Figure 4:
a difference image with a marked area with a difference in brightness
Figure 5:
a graphic representation of the relevant image values
Figure 6:
a generated mask image from the reference image
Figure 7:
the result of applying the mask to the camera image
Figure 8:
the brightness-adjusted camera image
Figure 9:
the difference image between the reference image and the adjusted camera image
Figure 10:
the graphically displayed adjusted relevant image values
Figure 11:
schematically the sequence of the method according to the invention

Figur 1 zeigt ein Beispiel für ein Bilderfassungssystem 2, welches das erfindungsgemäße Verfahren einsetzt. Es besteht aus mindestens einem Bildsensor 5, üblicherweise einer Kamera 5, welche in die Bogen-Druckmaschine 4 integriert ist. Die mindestens eine Kamera 5 nimmt die von der Druckmaschine 4 erzeugten Druckbilder auf und sendet die Daten an einen Rechner 3, 6 zur Auswertung. Dieser Rechner 3, 6 kann ein eigener separater Rechner 6 sein, z.B. ein oder mehrere spezialisierte Bildverarbeitungsrechner 6, oder auch mit dem Steuerungsrechner 3 der Druckmaschine 4 identisch sein. Mindestens der Steuerungsrechner 3 der Druckmaschine 4 besitzt ein Display 7, auf welchem die Ergebnisse der Bildinspektion angezeigt werden. Figure 1 shows an example of an image acquisition system 2 which uses the method according to the invention. It consists of at least one image sensor 5, usually a camera 5, which is integrated into the sheet-fed printing press 4. The at least one camera 5 records the print images generated by the printing press 4 and sends the data to a computer 3, 6 for evaluation. This computer 3, 6 can be its own separate computer 6, for example one or more specialized image processing computers 6, or it can also be identical to the control computer 3 of the printing press 4. At least the control computer 3 of the printing press 4 has a display 7 on which the results of the image inspection are displayed.

Das erfindungsgemäße Verfahren selbst ist bezüglich seines Ablaufes schematisch in Figur 1 in einer bevorzugten Ausführungsvariante dargestellt. Bei der Bogeninspektion werden dabei ein Referenzbild aus der Vorstufe und ein von einer Kamera aufgenommenes Druckbild vom Rechner miteinander verglichen. Das hier vorgestellte Verfahren sieht vor die Helligkeit des Gesamtbogens so anzupassen, dass sie für Referenzbild und Kamerabild optimal passen. Dazu wird über alle Papierweißbereiche des aufgenommenen Bogens und des Referenzbildes ein Mittelwert für Helligkeit gebildet. Weichen beide Mittelwerte voneinander ab, so soll die Helligkeit des Referenzbildes so verändert werden, dass der Mittelwert der Papierweißbereiche gleich ist. Ein wichtiger Punkt ist die sichere Identifikation von Papierweißbereichen. Dazu werden alle bedruckten Flächen im Referenzbild über ein Schwellwertverfahren identifiziert. Alle Bereiche im Bild die dunkler sind als Papierweiß gehören nicht zum Papierweiß. So wird eine Maske erstellt, die nach der Entzerrung des Kamerabildes auch über das Kamerabild gelegt wird. Die Bereiche, die noch übrigbleiben, sind dann folgerichtig Papierweiß.The method according to the invention itself is shown schematically with regard to its sequence in Figure 1 shown in a preferred embodiment. During sheet inspection, a reference image from prepress and a printed image recorded by a camera are compared with one another by the computer. The method presented here provides for the brightness of the entire sheet to be adjusted in such a way that it optimally fits the reference image and the camera image. For this purpose, an average value for brightness is formed over all paper white areas of the recorded sheet and the reference image. If the two mean values deviate from one another, the brightness of the reference image should be changed in such a way that the mean value of the paper white areas is the same. An important point is the reliable identification of paper white areas. For this purpose, all printed areas in the reference image are identified using a threshold value method. All areas in the image that are darker than paper white do not belong to paper white. In this way, a mask is created which, after rectifying the camera image, is also placed over the camera image. The areas that remain are then consequently paper white.

Der genaue Ablauf des Verfahrens wird im Folgenden anhand mehrerer Figuren genauer dargestellt:
Durch Luftverwirbelungen und andere Effekte kann es zu kleinen Bogenverformungen auf dem Druckzylinder der Druckmaschine während der Bildaufnahme kommen. Diese Verformungen machen sich sowohl durch geometrische Verzerrungen als auch durch Helligkeitsschwankungen bemerkbar, wie beispielhaft in Figur 2 in der ovalen Abdunkelung in der Mitte des Bildes dargestellt.
The exact sequence of the process is shown in more detail below with the aid of several figures:
Air turbulence and other effects can cause small sheet deformations on the printing cylinder of the printing machine during image acquisition. These deformations make themselves through both geometric distortions and through Fluctuations in brightness noticeable, as exemplified in Figure 2 shown in the oval darkening in the center of the picture.

Im Differenzbild von Figur 4 wird die Helligkeitsveränderung der Bogenverformung entsprechend markiert dargestellt. Wenn das Referenzbild aus Figur 3 und das Kamerabild aus Figur 2 gut aufeinander abgestimmt sind, dann entsteht hier kein Pseudofehler. Da im hier gezeigten Fall, der vermutlich viele Praxisfälle repräsentiert, jedoch Referenzbild und Kamerabild nicht gut abgestimmt sind, resultiert die Bogenverformung in einem großen Pseudofehler. Da Pseudofehlermeldungen unter allen Umständen vermieden werden sollen stellt das ein unerwünschtes Verhalten dar.In the difference image of Figure 4 the change in brightness of the arch deformation is shown marked accordingly. When the reference image is off Figure 3 and the camera image Figure 2 are well coordinated with each other, then there is no pseudo error here. Since in the case shown here, which presumably represents many practical cases, the reference image and camera image are not well coordinated, the arch deformation results in a large pseudo-error. Since pseudo error messages should be avoided under all circumstances, this is undesirable behavior.

Die resultierenden Werte und Toleranzbereiche des aktuellen Beispiels aus Figur 2 bis 4 werden in Figur 5 grafisch dargestellt.The resulting values and tolerance ranges of the current example Figures 2 to 4 will be in Figure 5 graphically represented.

Ziel des neuen Verfahrens ist es die globalen Helligkeitswerte des Referenzbildes und des Kamerabildes anzugleichen um Pseudofehler durch kleine Bogenverformungen zu vermeiden. Dazu müssen die Papierweißwerte im Referenzbild und im Kamerabild bestimmt werden und anschließend die Helligkeitswerte angepasst werden. Das Papierweiß des Referenzbildes wird in der Druckvorstufe immer auf einen definierten Wert festgelegt. Hier in diesem Beispiel auf den Wert 243. D.h. der Papierweißmittelwert im Referenzbild liegt bei 243. Alle Werte < 243 bilden das Sujet und können über ein Schwellwertverfahren aus dem Referenzbild entfernt werden. Das resultierende Bild in Form einer digitalen Maske zeigt Figur 6.The aim of the new method is to adjust the global brightness values of the reference image and the camera image in order to avoid pseudo errors due to small arc deformations. To do this, the paper white values in the reference image and in the camera image must be determined and then the brightness values must be adjusted. The paper white of the reference image is always set to a defined value in prepress. Here in this example to the value 243. That means the paper white mean value in the reference image is 243. All values <243 form the subject and can be removed from the reference image using a threshold value method. The resulting image shows in the form of a digital mask Figure 6 .

Diese Maske wird dann vom Rechner über das Kamerabild gelegt. Dadurch ergibt sich ein resultierendes Kamerabild, welches nur noch die Papierweißbereiche zeigt. Figur 7 zeigt dieses resultierende Kamerabild für das bisherige Beispiel.This mask is then placed over the camera image by the computer. This produces a resulting camera image which only shows the paper white areas. Figure 7 shows this resulting camera image for the previous example.

Es wird nun ein Mittelwert der Grauwerte aller Pixel im maskierten Kamerabild gebildet, deren Grauwert ungleich 0 ist. Der Wert liegt für dieses Beispielbild bei 226,8. Die Mittelwerte im Papierweiß zwischen Referenzbild und Kamerabild weichen also um ca. 13 Grauwerte ab. Das Kamerabild wird nun um diese 13 Grauwerte aufgehellt um es an das Referenzbild anzupassen. Die resultiert in einem angepassten Kamerabild, welches in Figur 8 gezeigt wird.A mean value of the gray values of all pixels in the masked camera image whose gray value is not equal to 0 is now formed. The value for this example image is 226.8. The mean values in paper white between the reference image and the camera image therefore deviate by approx. 13 gray values. The camera image is now brightened by these 13 gray values in order to adapt it to the Adjust reference image. This results in an adapted camera image, which is converted into Figure 8 will be shown.

Damit wird nun wieder ein Differenzbild erstellt, welches in Figur 9 zu sehen ist. Gut kann man erkennen, wie der Pseudofehler in der Mitte des Bogens verschwindet und das Problem damit gelöst ist. Die angepassten Werte und Toleranzbereiche werden in Figur 10 dargestellt.A difference image is now created again, which is shown in Figure 9 you can see. It is easy to see how the pseudo error in the middle of the arc disappears and the problem is thus solved. The adjusted values and tolerance ranges are shown in Figure 10 shown.

Weitere alternative Ausführungsformen umfassen die folgenden Möglichkeiten:

  1. 1. Anstatt die Helligkeit des Referenzbildes zu ändern könnte auch die Helligkeit des Scans geändert werden. Es ist jedoch technisch sinnvoller den Wert des Referenzbildes anzupassen.
  2. 2. Zur Erhöhung der Funktionsweise des Verfahrens kann die Standardabweichung im Papierweiß im Druckbild geprüft werden, um auszuschließen, dass Farbspritzer im Papierweiß den Mittelwert unzulässig verändern. Tritt eine zu hohe Abweichung im Papierweiß-Mittelwert auf, so müssen weitere Schritte unternommen werden. Dieser Schritt ist allerdings sehr rechenzeitaufwendig und deshalb bei einer Inlineinspektion möglichst zu vermeiden.
  3. 3. Das Papierweiß, bzw. Weiß im Referenzbild wird nicht durch Auffinden der Weiß-Bereiche detektiert, sondern in einem als Metadatum von der Druckmaschine, bzw. deren Digitalsteuerung, der Vorstufe oder durch Benutzerauswahl an einer Bediener-GUI oder anderem geeigneten System, mitgelieferten Bereich des Bildes. D.h. es wird explizit ein Bereich auf dem Bogen ausgezeichnet, in dem Papierweiß vorliegt. Es wird dann nur der explizit ausgezeichnete Bereich zur Bestimmung des Papierweißes herangezogen, und es ist keine Detektion der Papierweiß-Bereich mehrnötig. Evtl. werden die ausgezeichneten Bereiche noch zusätzlich mit Ausreißer-Filtern behandelt, um z.B. Farbspritzer aus der Weißschätzung herauszurechnen.
  4. 4. Das mittlere Papierweiß im Kamerabild wird in der Beschreibung bisher durch eine einfache Mittelwertbildung berechnet. Hier kann als Variante auch ein besser geeigneter Schätzer des Mittelwerts verwendet werden, der z.B. robust auf Ausreißer, wie Farbspritzer o.ä., ist. Dazu kann z.B. vor der Mittelung ein Anteil der hellsten und/oder dunkelsten Pixel ausgeschlossen werden, wobei diese typischerweise den Ausreißern entsprechen, oder es wird statt dem arithmetischen Mittel ein Median berechnet. Weitere Möglichkeiten umfassen das Berechnen statt des arithmetischen Mittels eines anderen ausreißer-resistenten mittleren Papierweiß-, bzw. Farbwertes, z.B. eines Iteratively Reweighted Least Squares-Mittelwert.
  5. 5. Insbesondere für den vollvariablen Digitaldruck gibt es noch eine weitere Alternative. Wenn auf jedem aufeinanderfolgenden Bogen einer Sequenz das Substrat bekannt ist und gleichbleibt, genügt es das Papierweiß auf dem ersten Bogen eines Druckjobs zu bestimmen und den errechneten Skalierungsfaktor auf alle folgenden Referenz-Bilder nur noch anzuwenden. Dies ermöglicht es, eine evtl. länger dauernde Analyse, z.B. das Auffinden der Weißflächen, durchzuführen und trotzdem bei langlaufenden Jobs schritthaltende Verarbeitung zu bieten. Der erste Bogen braucht dann etwas länger, dies wird aber bei den Folgebogen wieder aufgeholt. Man sollte dann aber das Substrat überwachen, ob es sich ändert. Entweder indem die Inspektionssoftware einen neuen Substratbezeichner von der Drucksteuerung mitgeteilt bekommt oder indem in einem kleinen Bereich, wie z.B. einem speziell ausgezeichneten Bereich oder zwischen den Greifern, usw., das Papierweiß ständig überwacht wird. Stellt die Software hierbei eine signifikante Änderung fest, so wird das Papierweiß automatisch neu eingelernt.
Other alternative embodiments include the following:
  1. 1. Instead of changing the brightness of the reference image, the brightness of the scan could also be changed. However, it is technically more sensible to adjust the value of the reference image.
  2. 2. To increase the functionality of the method, the standard deviation in the paper white in the print image can be checked in order to rule out that paint splashes in the paper white change the mean value impermissibly. If the deviation in the paper white mean value is too high, further steps must be taken. However, this step takes a lot of computing time and should therefore be avoided if possible with an inline inspection.
  3. 3. The paper white or white in the reference image is not detected by finding the white areas, but in a metadata from the printing machine or its digital control, prepress or by user selection on an operator GUI or other suitable system Area of the image. This means that an area is explicitly marked on the sheet in which there is paper white. Only the explicitly marked area is then used to determine the paper white, and detection of the paper white area is no longer necessary. The marked areas may also be treated with outlier filters, for example to remove paint splashes from the white estimate.
  4. 4. The mean paper white in the camera image has so far been calculated in the description by a simple mean value formation. As a variant, a more suitable estimator of the mean value can also be used here, which is, for example, robust for outliers such as paint splashes or the like. For this purpose, for example, a proportion of the lightest and / or darkest pixels can be excluded before the averaging, these typically corresponding to the outliers, or a median is calculated instead of the arithmetic mean. Other possibilities include calculating, instead of the arithmetic mean, of another outlier-resistant mean paper white or color value, for example an iteratively reweighted least squares mean.
  5. 5. There is another alternative, especially for fully variable digital printing. If the substrate is known and remains the same on every successive sheet of a sequence, it is sufficient to determine the paper white on the first sheet of a print job and only apply the calculated scaling factor to all subsequent reference images. This makes it possible to carry out an analysis that may take a long time, for example finding the white areas, and still offer continuous processing for long-running jobs. The first sheet then takes a little longer, but this is made up for with the following sheets. You should then monitor the substrate to see whether it changes. Either by giving the inspection software a new substrate identifier from the print control or by constantly monitoring the paper white in a small area, such as a specially marked area or between the grippers, etc. If the software detects a significant change, the paper white is automatically re-taught.

Bei dem hier vorgestellten erfindungsgemäßen Verfahren wird es somit vermieden Pseudofehler durch kleine Bogenverformungen zu erzeugen, ohne die Inspektionsgüte zu verringern wie das beim Stand der Technik der Fall ist.

Bezugszeichenliste
In the method according to the invention presented here, it is thus avoided to generate pseudo-errors through small arc deformations without reducing the inspection quality as is the case with the prior art.

List of reference symbols

Claims (10)

Verfahren zur Bildinspektion von Druckerzeugnissen in einer Bedruckstoffe verarbeitenden Maschine mittels eines Rechners, wobei im Rahmen der Bildinspektion durch ein Bilderfassungssystem die produzierten Druckerzeugnisse mittels mindestens eines Bildsensors erfasst und digitalisiert werden, die so entstandenen erfassten, digitalen Druckbilder durch den Rechner mit einem digitalen Referenzbild abgeglichen werden und im Falle von Abweichungen der erfassten, digitalen Druckbilder vom digitalen Referenzbild die fehlerhaft erkannten Druckerzeugnisse ausgeschleust werden,
dadurch gekennzeichnet,
dass der Rechner für Druck- und Referenzbilder jeweils Bereiche mit Papierweiß separiert und dessen Farbwerte ermittelt und auf Basis der Unterschiede zwischen diesen beiden Farbwerten Helligkeitsunterschiede zwischen Druck- und Referenzbildern ausgleicht.
Method for the image inspection of printed products in a machine processing printing materials by means of a computer, whereby the printed products produced are recorded and digitized by means of at least one image sensor as part of the image inspection by an image acquisition system, and the recorded digital print images created in this way are compared with a digital reference image by the computer and in the event of discrepancies between the recorded digital print images and the digital reference image, the incorrectly recognized print products are ejected,
characterized,
that the computer separates areas with paper white for print and reference images and determines their color values and compensates for differences in brightness between print and reference images on the basis of the differences between these two color values.
Verfahren nach Anspruch 1,
dadurch gekennzeichnet,
dass für den Ausgleich der Helligkeitsunterschiede zwischen Druck- und Referenzbildern die Helligkeit des Druck- oder des Referenzbildes angepasst wird.
Method according to claim 1,
characterized,
that to compensate for the differences in brightness between the print and reference images, the brightness of the print or reference image is adjusted.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass der Rechner die Standardabweichung im Papierweiß im erfassten Druckbild überprüft, um auszuschließen, dass Farbspritzer im Papierweiß den Farbwert des Papierweiß' unzulässig verändern.
Method according to one of the preceding claims,
characterized,
that the computer checks the standard deviation in the paper white in the captured print image in order to exclude paint splashes in the paper white changing the color value of the paper white in an impermissible manner.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass der Rechner den Farbwert des Papierweiß' ermittelt, indem er den Mittelwert oder den Median aller separierten Papierweißbereiche berechnet.
Method according to one of the preceding claims,
characterized,
that the computer determines the color value of the paper white by calculating the mean value or the median of all separated paper white areas.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass der Abgleich der erfassten, digitalen Druckbilder mit einem digitalen Referenzbild durch den Rechner zur Bildinspektion durch Erstellung und Auswertung eines Differenzbildes zwischen dem jeweiligen erfassten, digitalen Druckbild mit dem digitalen Referenzbild stattfindet.
Method according to one of the preceding claims,
characterized,
that the comparison of the captured digital print images with a digital reference image takes place by the computer for image inspection by creating and evaluating a difference image between the respective captured digital print image with the digital reference image.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass die Separation des Papierweiß' durch den Rechner über ein Schwellwertverfahren durchgeführt wird, wobei alle Bereiche im Bild die dunkler sind als das Papierweiß ausgeblendet werden.
Method according to one of the preceding claims,
characterized,
that the separation of the paper white is carried out by the computer using a threshold value method, whereby all areas in the image that are darker than the paper white are masked out.
Verfahren nach Anspruch 6,
dadurch gekennzeichnet,
dass als Schwellwert für das Papierweiß der ein vorgegebener Papierweißwert aus der Druckvorstufe verwendet wird.
Method according to claim 6,
characterized,
that a specified paper white value from the prepress stage is used as the threshold value for the paper white.
Verfahren nach Anspruch 6 oder Anspruch 7,
dadurch gekennzeichnet,
dass das Schwellwertverfahren auf das digitale Referenzbild angewandt wird, wodurch eine digitale Maske entsteht, mit welcher die Papierweißbereiche des jeweiligen erfassten, digitalen Druckbildes separiert werden.
Method according to claim 6 or claim 7,
characterized,
that the threshold value method is applied to the digital reference image, whereby a digital mask is created with which the paper white areas of the respective captured digital print image are separated.
Verfahren nach einem der vorherigen Ansprüche 1 bis 5,
dadurch gekennzeichnet,
dass die Separation des Papierweiß' und die Ermittlung von dessen Farbwerten durch den Rechner geschieht, indem ein vorgegebener Bereich des zu inspizierenden Druckerzeugnisses als Papierweißbereich deklariert wird, in welchem dann die Farbwerte des Papierweiß ermittelt werden.
Method according to one of the preceding claims 1 to 5,
characterized,
that the separation of the paper white and the determination of its color values is done by the computer by declaring a predetermined area of the printed product to be inspected as a paper white area, in which the color values of the paper white are then determined.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass vor der Separation des Papierweiß' für die erfassten, digitalen Druckbilder diese vom Rechner digital entzerrt werden.
Method according to one of the preceding claims,
characterized,
that before the separation of the paper white for the captured digital print images, these are digitally rectified by the computer.
EP20164387.1A 2020-03-20 2020-03-20 Sheet inspection with global brightness adjustment Active EP3882032B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20164387.1A EP3882032B1 (en) 2020-03-20 2020-03-20 Sheet inspection with global brightness adjustment
CN202110302366.4A CN113492580B (en) 2020-03-20 2021-03-22 Page checking method adopting global brightness adaptation mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP20164387.1A EP3882032B1 (en) 2020-03-20 2020-03-20 Sheet inspection with global brightness adjustment

Publications (2)

Publication Number Publication Date
EP3882032A1 true EP3882032A1 (en) 2021-09-22
EP3882032B1 EP3882032B1 (en) 2022-03-30

Family

ID=69941165

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20164387.1A Active EP3882032B1 (en) 2020-03-20 2020-03-20 Sheet inspection with global brightness adjustment

Country Status (2)

Country Link
EP (1) EP3882032B1 (en)
CN (1) CN113492580B (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004021601A1 (en) * 2004-05-03 2005-12-01 Gretag-Macbeth Ag Inline measurement and control in printing presses
DE102010031533A1 (en) * 2010-07-19 2012-01-19 Tobias Huneke Printing result testing method for printer in control panel arrangement, involves comparing grey fields measured value with calculated reference values, where printing result of printer is evaluated based on comparison result
DE102016224307A1 (en) * 2015-12-15 2017-06-22 Heidelberger Druckmaschinen Ag Method of checking an image inspection system
DE102018201794B3 (en) 2018-02-06 2019-04-11 Heidelberger Druckmaschinen Ag Adaptive image smoothing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003270164A (en) * 2002-03-19 2003-09-25 Dainippon Printing Co Ltd Device for monitoring color-tone of print
DE102007052785A1 (en) * 2007-11-06 2009-05-07 Manroland Ag Method for measuring the color of a printed substrate within a printing press
JP2018054462A (en) * 2016-09-29 2018-04-05 セイコーエプソン株式会社 Measurement device and measurement method
JP6797716B2 (en) * 2017-02-28 2020-12-09 キヤノン株式会社 Image processing device and image processing method
CN110293753B (en) * 2018-03-22 2021-07-23 海德堡印刷机械股份公司 Method for image detection of printed products by means of a computer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004021601A1 (en) * 2004-05-03 2005-12-01 Gretag-Macbeth Ag Inline measurement and control in printing presses
DE102010031533A1 (en) * 2010-07-19 2012-01-19 Tobias Huneke Printing result testing method for printer in control panel arrangement, involves comparing grey fields measured value with calculated reference values, where printing result of printer is evaluated based on comparison result
DE102016224307A1 (en) * 2015-12-15 2017-06-22 Heidelberger Druckmaschinen Ag Method of checking an image inspection system
DE102018201794B3 (en) 2018-02-06 2019-04-11 Heidelberger Druckmaschinen Ag Adaptive image smoothing

Also Published As

Publication number Publication date
CN113492580A (en) 2021-10-12
EP3882032B1 (en) 2022-03-30
CN113492580B (en) 2023-01-24

Similar Documents

Publication Publication Date Title
DE102017220361B4 (en) Method and test pattern for detecting and compensating for failed printing nozzles in an inkjet printing machine
DE102018201794B3 (en) Adaptive image smoothing
WO2005094054A1 (en) Method for the early identification of a deviation in the printed images that have been created by a printing press during continuous production
DE102006056858B4 (en) Procedure for checking the print quality
DE102019208149A1 (en) Nozzle Health with a neural network
WO2005104034A1 (en) Method for evaluating the quality of a printed matter, produced by a printing machine
DE102019202290A1 (en) Image inspection with local image equalization
DE102017216260A1 (en) Image inspection of printed products with error classes
DE112015003903T5 (en) Device for checking printed matter, procedures for checking printed matter and program
DE102016203392B3 (en) Image inspection method with multiple cameras
EP3878653A1 (en) Inspection with error classification
EP3656561B1 (en) Fast image restoration for image inspection
DE102011014073A1 (en) Method for controlling a printing process
EP3871892B1 (en) Detektion method to minimize maculature
EP3680106B1 (en) Mn-detection in a printed image
EP1578609A1 (en) Method and device for the real time control of print images
EP3882032B1 (en) Sheet inspection with global brightness adjustment
DE102019208257A1 (en) Print quality analysis with neural networks
DE102018217476A1 (en) Variable pressure nozzle test pattern
EP3715126B1 (en) Colour compensation in offset printing
EP3628489B1 (en) Register measurement without register marks
DE102018201785B3 (en) Bumped print image
EP0522301A1 (en) Method for monitoring and controlling the printing process, especially in offset printing machines
EP3865304B1 (en) Deterministic image inspection
DE102020105481A1 (en) Brightness-adapted sheet inspection

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200916

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: B41F 33/00 20060101AFI20211027BHEP

INTG Intention to grant announced

Effective date: 20211119

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1478824

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220415

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020000855

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220630

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220630

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20220330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220701

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220801

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220730

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502020000855

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20230103

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230427

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220330

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20230331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230320

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230331

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230320

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230331

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240331

Year of fee payment: 5

Ref country code: GB

Payment date: 20240320

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240321

Year of fee payment: 5