JP2016151534A - Inspection device, inspection method, and program for inspection device - Google Patents

Inspection device, inspection method, and program for inspection device Download PDF

Info

Publication number
JP2016151534A
JP2016151534A JP2015030221A JP2015030221A JP2016151534A JP 2016151534 A JP2016151534 A JP 2016151534A JP 2015030221 A JP2015030221 A JP 2015030221A JP 2015030221 A JP2015030221 A JP 2015030221A JP 2016151534 A JP2016151534 A JP 2016151534A
Authority
JP
Japan
Prior art keywords
inspection
image
dimensional shape
feature point
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015030221A
Other languages
Japanese (ja)
Other versions
JP6424667B2 (en
Inventor
雅宏 山田
Masahiro Yamada
雅宏 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2015030221A priority Critical patent/JP6424667B2/en
Publication of JP2016151534A publication Critical patent/JP2016151534A/en
Application granted granted Critical
Publication of JP6424667B2 publication Critical patent/JP6424667B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an inspection device that corrects deformation of an image to be inspected and accurately inspect the inspection target.SOLUTION: The method according to the present application includes the steps of: acquiring a reference image with the same print information as the print information printed on an inspection target (S1 to S3); extracting a plurality of reference feature points from the reference image (S4); acquiring an inspection image of the inspection target from imaging means (S5); extracting a plurality of inspection feature points from the inspection image (S6); obtaining displacement in an imaging direction of the imaging means from the reference feature points and their corresponding inspection feature points and calculating the three-dimensional shape of the inspection target (S7); correcting the inspection image according to the three-dimensional shape (S8); and inspecting the inspection target based on the corrected inspection image (S9).SELECTED DRAWING: Figure 4

Description

本発明は、シート状の検査対象を検査する検査装置、検査方法、および、検査装置用のプログラムに関する。     The present invention relates to an inspection apparatus, an inspection method, and a program for an inspection apparatus that inspect a sheet-like inspection object.

印刷物等の検査対象の表面の状態を検査するために、検査対象を撮像した画像に基づき、欠陥等の有無の検査が行われている。例えば、特許文献1には、印刷物表面を撮像し、画像データ全体を細分化し、細分化した画像(セル)毎に独立して位置補正処理して、位置補正処理された各セルの情報をもとに、基準画像と検査画像の位置ずれを補正する印刷物の検査方法が開示されている。   In order to inspect the state of the surface of an inspection target such as a printed matter, an inspection for the presence or absence of a defect or the like is performed based on an image obtained by imaging the inspection target. For example, in Patent Document 1, the surface of a printed material is imaged, the entire image data is subdivided, and position correction processing is performed independently for each subdivided image (cell), and information on each cell subjected to position correction processing is also included. In addition, there is disclosed a printed matter inspection method for correcting a positional deviation between a reference image and an inspection image.

特開2011−112593号公報JP 2011-112593 A

しかしながら、従来の技術では、搬送時の伸縮および蛇行によるずれを補正しているのみなので、搬送されてくるシート状の検査対象が変形して、搬送面からの変位を生じた場合、この変形を検出し補正することが難しかった。特に、検査対象が枚葉の場合、検査対象において搬送方向の端が、跳ね上がり、カメラに近づくため、変形が大きくなるという問題があった。   However, since the conventional technology only corrects the displacement due to expansion and contraction and meandering at the time of conveyance, when the sheet-like inspection object being conveyed is deformed to cause displacement from the conveyance surface, this deformation is reduced. It was difficult to detect and correct. In particular, when the inspection object is a single wafer, the end of the conveyance direction in the inspection object jumps up and approaches the camera, which causes a problem of large deformation.

そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、検査対象の画像の変形を補正して、検査対象を高精度に検査する検査装置等を提供することを目的とする。   Therefore, the present invention has been made in view of the above-described problems, and one example of the problem is to provide an inspection apparatus that inspects the inspection object with high accuracy by correcting the deformation of the image to be inspected. For the purpose.

上記の課題を解決するために、請求項1に記載の発明は、印刷情報が印刷された検査対象と同じ印刷情報の基準画像を取得する基準画像取得手段と、前記基準画像から複数の基準特徴点を抽出する基準特徴点抽出手段と、前記検査対象の検査画像を撮像手段から取得する検査画像取得手段と、前記検査画像から複数の検査特徴点を抽出する検査特徴点抽出手段と、前記基準特徴点と当該基準特徴点に対応する検査画像の検査特徴点とから、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出手段と、前記3次元形状に応じて、前記検査画像を補正する補正手段と、前記補正された検査画像に基づき、前記検査対象を検査する検査手段と、を備えたことを特徴とする。   In order to solve the above-mentioned problem, the invention according to claim 1 is characterized in that a reference image acquisition means for acquiring a reference image of the same print information as the inspection object on which the print information is printed, and a plurality of reference features from the reference image Reference feature point extraction means for extracting points, inspection image acquisition means for acquiring the inspection image to be inspected from the imaging means, inspection feature point extraction means for extracting a plurality of inspection feature points from the inspection image, and the reference A three-dimensional shape calculating means for obtaining a displacement in the imaging direction of the imaging means from a feature point and an inspection feature point of an inspection image corresponding to the reference feature point; A correction unit that corrects the inspection image according to a shape, and an inspection unit that inspects the inspection object based on the corrected inspection image.

また、請求項2に記載の発明は、請求項1に記載の検査装置において、前記複数の基準特徴点から、基準仮想点を算出する基準仮想点算出手段と、前記複数の検査特徴点から、検査仮想点を算出する検査仮想点算出手段と、を更に備え、前記3次元形状算出手段が、前記基準仮想点も前記基準特徴点として、かつ、前記検査仮想点も前記検査特徴点として、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出することを特徴とする。   Further, the invention according to claim 2 is the inspection apparatus according to claim 1, wherein reference virtual point calculation means for calculating a reference virtual point from the plurality of reference feature points, and the plurality of inspection feature points, Inspection virtual point calculation means for calculating an inspection virtual point, and the three-dimensional shape calculation means includes the reference virtual point as the reference feature point and the inspection virtual point as the inspection feature point. A displacement in the imaging direction of the imaging means is obtained, and a three-dimensional shape of the inspection object is calculated.

また、請求項3に記載の発明は、請求項1または請求項2に記載の検査装置において、前記検査対象が、枚葉の検査対象であることを特徴とする。   According to a third aspect of the present invention, in the inspection apparatus according to the first or second aspect, the inspection object is a single wafer inspection object.

また、請求項4に記載の発明は、請求項1または請求項2に記載の検査装置において、前記検査対象が、ロールから巻き出されたシート状の検査対象であることを特徴とする。   According to a fourth aspect of the present invention, in the inspection apparatus according to the first or second aspect, the inspection target is a sheet-shaped inspection target unwound from a roll.

また、請求項5に記載の発明は、請求項1から4のいずれか1項に記載の検査装置において、前記3次元形状算出手段が、前記検査特徴点を通る仮想線を算出し、当該仮想線上における前記検査特徴点に関連する複数の点において、前記撮像方向の変位を算出し、当該仮想線に対応した前記撮像方向の変位の近似曲線を算出し、当該近似曲線に基づき、当該仮想線における前記撮像方向の変位を求め、前記検査対象の3次元形状を算出することを特徴とする。   According to a fifth aspect of the present invention, in the inspection apparatus according to any one of the first to fourth aspects, the three-dimensional shape calculation means calculates a virtual line passing through the inspection feature point, and the virtual A displacement in the imaging direction is calculated at a plurality of points related to the inspection feature point on the line, an approximate curve of the displacement in the imaging direction corresponding to the virtual line is calculated, and the virtual line is calculated based on the approximate curve. A displacement in the imaging direction is obtained, and a three-dimensional shape of the inspection object is calculated.

また、請求項6に記載の発明は、基準画像取得手段が、印刷情報が印刷された検査対象と同じ印刷情報の基準画像を取得する基準画像取得ステップと、基準特徴点抽出手段が、前記基準画像から複数の基準特徴点を抽出する基準特徴点抽出ステップと、検査画像取得手段が、前記検査対象の検査画像を撮像手段から取得する検査画像取得ステップと、検査特徴点抽出手段が、前記検査画像から複数の検査特徴点を抽出する検査特徴点抽出ステップと、3次元形状算出手段が、前記基準特徴点と当該基準特徴点に対応する検査画像の検査特徴点とから、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出ステップと、補正手段が、前記3次元形状に応じて、前記検査画像を補正する補正ステップと、検査手段が、前記補正された検査画像に基づき、前記検査対象を検査する検査ステップと、を有することを特徴とする。   In the invention according to claim 6, the reference image acquisition means acquires a reference image of the same print information as the inspection object on which the print information is printed, and the reference feature point extraction means includes the reference feature A reference feature point extracting step for extracting a plurality of reference feature points from the image; an inspection image acquiring unit for acquiring an inspection image to be inspected from the imaging unit; and an inspection feature point extracting unit for detecting the inspection feature point An inspection feature point extraction step for extracting a plurality of inspection feature points from the image, and a three-dimensional shape calculation means for imaging the imaging means from the reference feature points and the inspection feature points of the inspection image corresponding to the reference feature points A three-dimensional shape calculating step for obtaining a displacement in a direction and calculating a three-dimensional shape of the inspection object; a correcting step for correcting the inspection image according to the three-dimensional shape; Means, on the basis of the corrected test image, and having a inspection step of inspecting said inspection target.

また、請求項7に記載の発明は、コンピュータを、印刷情報が印刷された検査対象と同じ印刷情報の基準画像を取得する基準画像取得手段、前記基準画像から複数の基準特徴点を抽出する基準特徴点抽出手段、前記検査対象の検査画像を撮像手段から取得する検査画像取得手段、前記検査画像から複数の検査特徴点を抽出する検査特徴点抽出手段、前記基準特徴点と当該基準特徴点に対応する検査画像の検査特徴点とから、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出手段、前記3次元形状に応じて、前記検査画像を補正する補正手段、および、前記補正された検査画像に基づき、前記検査対象を検査する検査手段として機能させることを特徴とする。   According to the seventh aspect of the present invention, there is provided a reference image acquisition means for acquiring a reference image of the same print information as the inspection object on which the print information is printed, a reference for extracting a plurality of reference feature points from the reference image. Feature point extraction means, inspection image acquisition means for acquiring the inspection image to be inspected from the imaging means, inspection feature point extraction means for extracting a plurality of inspection feature points from the inspection image, the reference feature points and the reference feature points A displacement in the imaging direction of the imaging means is obtained from the inspection feature point of the corresponding inspection image, and a three-dimensional shape calculating means for calculating the three-dimensional shape of the inspection object. Based on the correcting means for correcting, and the inspection means for inspecting the inspection object based on the corrected inspection image.

本発明によれば、印刷情報が印刷された検査対象と同じ印刷情報を有する基準画像の基準特徴点と、当該基準特徴点に対応する検査対象の検査画像の検査特徴点と、から求められる撮像方向の変位から算出される検査対象の3次元形状に基づき、検査対象の画像の変形を補正して、検査対象を高精度に検査することができる。   According to the present invention, the imaging obtained from the reference feature point of the reference image having the same print information as the inspection object on which the print information is printed, and the inspection feature point of the inspection image of the inspection object corresponding to the reference feature point Based on the three-dimensional shape of the inspection object calculated from the directional displacement, the inspection object can be inspected with high accuracy by correcting the deformation of the inspection object image.

本発明の実施形態に係る検査システムの概要構成例を示す模式図である。It is a mimetic diagram showing an example of outline composition of an inspection system concerning an embodiment of the present invention. オフセット印刷における検査対象の検査の一例を示す模式図である。It is a schematic diagram which shows an example of the test | inspection of the test object in offset printing. 図1の検査装置の概要構成の一例を示すブロック図である。It is a block diagram which shows an example of schematic structure of the inspection apparatus of FIG. 図1の検査システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the test | inspection system of FIG. 図1の検査対象の一例を示す模式図である。It is a schematic diagram which shows an example of the test object of FIG. 図1の検査対象の基準仮想点の一例を示す模式図である。It is a schematic diagram which shows an example of the reference | standard virtual point of the test object of FIG. 図1の検査対象の変形がある場合の一例を示す模式図である。It is a schematic diagram which shows an example in case there exists a deformation | transformation of the test object of FIG. 撮像された検査対象の一例を示す模式図である。It is a schematic diagram which shows an example of the image | photographed test object. 撮像された検査対象の検査仮想点の一例を示す模式図である。It is a schematic diagram which shows an example of the test | inspection virtual point of the imaged test object. 撮像方向の変位の情報と補正後の画像とを示す模式図である。It is a schematic diagram which shows the information of the displacement of an imaging direction, and the image after correction | amendment. 検査対象の変形例を示す模式図である。It is a schematic diagram which shows the modification of a test object.

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、検査システムに対して本発明を適用した場合の実施形態である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, embodiment described below is embodiment at the time of applying this invention with respect to a test | inspection system.

[1.検査システムの構成および機能概要]
(1.1 検査システムの構成および機能)
まず、本発明の一実施形態に係る検査システムの構成および概要機能について、図1および図2を用いて説明する。
[1. Overview of inspection system configuration and functions]
(1.1 Inspection system configuration and functions)
First, the configuration and outline function of an inspection system according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.

図1は、本実施形態に係る検査システム1の概要構成例を示す模式図である。図2は、オフセット印刷における検査対象の検査の一例を示す模式図である。   FIG. 1 is a schematic diagram illustrating a schematic configuration example of an inspection system 1 according to the present embodiment. FIG. 2 is a schematic diagram illustrating an example of inspection of an inspection target in offset printing.

図1に示すように、検査システム1は、検査システム1を制御し、紙等のシート状の検査対象Pを検査する検査装置10と、検査対象Pを撮像する撮像装置20と、検査対象Pを照明する照明装置30と、検査対象Pを搬送する搬送装置40と、を備えている。   As shown in FIG. 1, the inspection system 1 controls the inspection system 1 to inspect a sheet-like inspection target P such as paper, an imaging device 20 that images the inspection target P, and the inspection target P. And a transport device 40 that transports the inspection target P.

検査装置10と、撮像装置20とは、データを送受信したり、指令を送信したりするためのケーブルにより接続されていて、撮像装置20等は、検査装置10により制御される。   The inspection device 10 and the imaging device 20 are connected by a cable for transmitting and receiving data and transmitting commands, and the imaging device 20 and the like are controlled by the inspection device 10.

検査装置10は、コントローラ(例えば、プログラマブルロジックコントローラ)として、撮像装置20による撮像や、搬送装置40による検査対象Pの搬送を制御する。また、検査装置10は、撮像装置20からの画像データを画像処理する。なお、シート状の検査対象Pは、紙やプラスチック製のシートや、金属製のシートや、紙が綴じられた書籍が、ページめくりされている検査対象でもよい。   The inspection apparatus 10 controls imaging by the imaging apparatus 20 and conveyance of the inspection target P by the conveyance apparatus 40 as a controller (for example, a programmable logic controller). The inspection apparatus 10 performs image processing on the image data from the imaging apparatus 20. Note that the sheet-like inspection object P may be an inspection object in which a page of a paper or plastic sheet, a metal sheet, or a book in which paper is bound is turned.

撮像手段の一例の撮像装置20は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を有するデジタルカメラである。また、撮像装置20は、1ライン分のイメージセンサが並んだラインスキャンカメラ、または、2次元にイメージセンサが並んだエリアカメラである。   An imaging device 20 as an example of an imaging unit is a digital camera having an imaging element such as a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor. The imaging device 20 is a line scan camera in which image sensors for one line are arranged, or an area camera in which image sensors are arranged in two dimensions.

ラインスキャンカメラの場合、撮像装置20は、搬送装置40により搬送されている検査対象Pを、1ライン毎に順次撮像する。エリアカメラの場合、撮像装置20は、検査対象Pが所定距離搬送されたとき、撮像する。   In the case of a line scan camera, the imaging device 20 sequentially images the inspection target P conveyed by the conveyance device 40 for each line. In the case of an area camera, the imaging device 20 captures an image when the inspection target P is conveyed a predetermined distance.

また、図1に示すように、撮像装置20は、搬送されてくる検査対象Pを上方から撮像する。撮像装置20の撮像方向は、搬送されてくる検査対象Pの搬送面(x-y面)に対して垂直(z方向)である。この搬送面が変位を求める基準面となる。なお、撮像装置20の撮像方向は、搬送面の垂直方向(z方向)に対して斜めでもよい。この場合、検査対象Pを検査する際、撮像方向を補正する画像補正をしてもよい。   Moreover, as shown in FIG. 1, the imaging device 20 images the inspection object P being conveyed from above. The imaging direction of the imaging device 20 is perpendicular (z direction) to the conveyance surface (xy plane) of the inspection object P being conveyed. This conveyance surface becomes a reference surface for obtaining the displacement. Note that the imaging direction of the imaging device 20 may be oblique to the vertical direction (z direction) of the transport surface. In this case, when inspecting the inspection object P, image correction for correcting the imaging direction may be performed.

照明装置30は、蛍光灯、LED(Light Emitting Diode)素子等の発光体である。照明装置30は、搬送面(基準面の一例)に対する斜め方向から検査対象Pを照らす。   The illumination device 30 is a light emitter such as a fluorescent lamp or an LED (Light Emitting Diode) element. The illumination device 30 illuminates the inspection target P from an oblique direction with respect to the transport surface (an example of a reference surface).

搬送装置40は、検査対象Pを搬送するローラを有する。また、搬送装置40は、検査対象Pの搬送位置を検出するエンコーダ(図示せず)を有する。   The transport device 40 includes a roller that transports the inspection target P. Further, the transport apparatus 40 includes an encoder (not shown) that detects the transport position of the inspection target P.

図2に示すように、搬送装置40の機能を有するオフセット枚葉印刷機は、刷版が装着された版胴41と、インキが転写されるブランケット胴42と、枚葉紙の検査対象Pをブランケット胴42に押しつける圧胴43と、印刷された検査対象Pを排出ユニットに送る中間胴44、45と、を備える。圧胴43が、搬送装置40の機能の一部を担っている。   As shown in FIG. 2, the offset sheet-fed printing press having the function of the transport device 40 includes a plate cylinder 41 on which a printing plate is mounted, a blanket cylinder 42 to which ink is transferred, and a sheet inspection target P. An impression cylinder 43 that presses against the blanket cylinder 42 and intermediate cylinders 44 and 45 that send the printed inspection object P to the discharge unit are provided. The impression cylinder 43 bears a part of the function of the transport device 40.

撮像装置20は、圧胴43上に現れる検査対象Pの印刷面を撮像する。   The imaging device 20 images the printing surface of the inspection target P that appears on the impression cylinder 43.

搬送方向yは、圧胴43上の撮像ラインの位置における接線方向である。搬送に対応する基準面は、圧胴43の面である。特に、基準面は、圧胴43上の撮像ラインの位置で、圧胴43に接する平面である。撮像方向は、z方向(−z方向)で、圧胴43の回転軸に向かう。圧胴43の回転軸方向がx方向である。   The conveyance direction y is a tangential direction at the position of the imaging line on the impression cylinder 43. The reference surface corresponding to the conveyance is the surface of the impression cylinder 43. In particular, the reference plane is a plane in contact with the impression cylinder 43 at the position of the imaging line on the impression cylinder 43. The imaging direction is the z direction (−z direction) and is directed to the rotation axis of the impression cylinder 43. The rotation axis direction of the impression cylinder 43 is the x direction.

印刷された検査対象Pは、ブランケット胴42と圧胴43との間から送り出される。検査対象Pの終端にくると、圧胴43から検査対象Pが跳ね上がったり、ばたついたりする。そのため、検査対象Pの終端部分が撮像装置20に近づき、画像が撮像される。   The printed inspection object P is sent out between the blanket cylinder 42 and the impression cylinder 43. When coming to the end of the inspection object P, the inspection object P jumps up from the impression cylinder 43 or flutters. Therefore, the terminal portion of the inspection target P approaches the imaging device 20 and an image is captured.

(1.2 検査装置10の構成および機能)
次に、検査装置10の構成および機能について、図3を用いて説明する。
図3は、検査装置10の概要構成の一例を示すブロック図である。
(1.2 Configuration and function of the inspection apparatus 10)
Next, the configuration and function of the inspection apparatus 10 will be described with reference to FIG.
FIG. 3 is a block diagram illustrating an example of a schematic configuration of the inspection apparatus 10.

図3に示すように、検査装置10は、例えば、パーソナルコンピュータやプログラマブルロジックコントローラ等であり、記憶部11と、表示部12と、操作部13と、入出力インターフェース部14と、システム制御部15とを備えている。そして、システム制御部15と入出力インターフェース部14とは、システムバス16を介して接続されている。また、入出力インターフェース部14は、撮像装置20と、照明装置30と、搬送装置40とに接続されている。   As illustrated in FIG. 3, the inspection apparatus 10 is, for example, a personal computer or a programmable logic controller, and includes a storage unit 11, a display unit 12, an operation unit 13, an input / output interface unit 14, and a system control unit 15. And. The system control unit 15 and the input / output interface unit 14 are connected via a system bus 16. The input / output interface unit 14 is connected to the imaging device 20, the illumination device 30, and the transport device 40.

記憶部11は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム、制御用のプログラム、検査用のプログラム等を記憶する。また、記憶部11には、検査に必要な基準画像が記憶されている。   The storage unit 11 includes, for example, a hard disk drive and stores an operating system, a control program, an inspection program, and the like. Further, the storage unit 11 stores a reference image necessary for inspection.

表示部12は、例えば、液晶表示素子または有機EL素子等によって構成されている。表示部12には、検査システム1を制御するための入力情報や検査結果等が表示される。   The display unit 12 is configured by, for example, a liquid crystal display element or an organic EL element. The display unit 12 displays input information for controlling the inspection system 1, inspection results, and the like.

操作部13は、例えば、キーボードおよびマウス等によって構成されている。ユーザは、操作部13を使用して、検査システム1の制御するための入力情報を入力する。   The operation unit 13 is composed of, for example, a keyboard and a mouse. The user inputs input information for controlling the inspection system 1 using the operation unit 13.

入出力インターフェース部14は、記憶部11等とシステム制御部15とのインターフェースである。   The input / output interface unit 14 is an interface between the storage unit 11 and the like and the system control unit 15.

システム制御部15は、例えば、CPU15aと、ROM15bと、RAM15cとを有する。システム制御部15は、CPU15aが、ROM15bや、RAM15cや、記憶部11に記憶された各種プログラムを読み出して実行する。例えば、システム制御部15は、プログラムを実行し、画像の補正を行う。なお、これらのプログラムを記憶した記録媒体等をシステム制御部15が読み出し実行してもよい。   The system control unit 15 includes, for example, a CPU 15a, a ROM 15b, and a RAM 15c. In the system control unit 15, the CPU 15a reads and executes various programs stored in the ROM 15b, the RAM 15c, and the storage unit 11. For example, the system control unit 15 executes a program and corrects an image. The system control unit 15 may read and execute a recording medium storing these programs.

[2.検査システムの動作]
次に、本発明の1実施形態に係る検査システムの動作について図4から図10を用いて説明する。
[2. Operation of inspection system]
Next, the operation of the inspection system according to one embodiment of the present invention will be described with reference to FIGS.

図4は、検査システム1の動作例を示すフローチャートである。図5は、検査対象の一例を示す模式図である。図6は、検査対象の基準仮想点の一例を示す模式図である。図7は、検査対象の変形がある場合の一例を示す模式図である。図8は、撮像された検査対象の一例を示す模式図である。図9は、撮像された検査対象の検査仮想点の一例を示す模式図である。図10は、撮像方向の変位の情報と補正後の画像とを示す模式図である。   FIG. 4 is a flowchart showing an operation example of the inspection system 1. FIG. 5 is a schematic diagram illustrating an example of an inspection target. FIG. 6 is a schematic diagram illustrating an example of a reference virtual point to be inspected. FIG. 7 is a schematic diagram illustrating an example when there is a deformation of the inspection target. FIG. 8 is a schematic diagram showing an example of an imaged inspection object. FIG. 9 is a schematic diagram illustrating an example of an inspection virtual point to be imaged. FIG. 10 is a schematic diagram illustrating information on displacement in the imaging direction and a corrected image.

図4に示すように、検査システム1は、基準画像の状態の検査対象Pを撮像する(ステップS1)。例えば、印刷情報が印刷された検査対象Pが、跳ね上がらないように、圧胴43上にテープ等で固定して、仮止めされる。検査装置10の指令により、搬送装置40の機能として、圧胴43上が回転して、検査対象Pが搬送され、撮像装置20が、圧胴43上に固定された検査対象Pを撮像する。   As shown in FIG. 4, the inspection system 1 images the inspection target P in the state of the reference image (step S1). For example, the inspection target P on which the print information is printed is fixed temporarily on the impression cylinder 43 with a tape or the like so that it does not jump up. In response to a command from the inspection apparatus 10, as the function of the transport apparatus 40, the top of the impression cylinder 43 rotates, the inspection object P is conveyed, and the imaging apparatus 20 images the inspection object P fixed on the impression cylinder 43.

なお、基準画像の状態の検査対象Pとして、印刷情報が印刷された、平面状の検査対象でもよい。   The inspection target P in the state of the reference image may be a flat inspection target on which print information is printed.

検査装置10のシステム制御部15が、入出力インターフェース部14を介して、圧胴43上に固定された検査対象Pの画像の画像データを、撮像装置20から基準画像として取得する。   The system control unit 15 of the inspection apparatus 10 acquires the image data of the image of the inspection target P fixed on the impression cylinder 43 as a reference image from the imaging apparatus 20 via the input / output interface unit 14.

このように、検査装置10が、印刷情報が印刷された検査対象と同じ印刷情報の基準画像を取得する基準画像取得手段の一例として機能する。   In this way, the inspection apparatus 10 functions as an example of a reference image acquisition unit that acquires a reference image of the same print information as the inspection target on which the print information is printed.

次に、検査システム1は、基準画像として、適格か否かを判定する(ステップS2)。具体的には、検査装置10のシステム制御部15が、画像処理して、基準画像の形状が、適格か否かを判定する。例えば、システム制御部15が、基準画像として撮像した検査対象Pの四隅の点を抽出し、形状が長方形であるか否かを判定する。なお、システム制御部15が、基準画像として撮像した検査対象Pの縁を抽出し、縁の形状が、長方形か否かを判定してもよい。   Next, the inspection system 1 determines whether or not the reference image is qualified (step S2). Specifically, the system control unit 15 of the inspection apparatus 10 performs image processing to determine whether or not the shape of the reference image is appropriate. For example, the system control unit 15 extracts the four corner points of the inspection target P imaged as the reference image, and determines whether or not the shape is a rectangle. Note that the system control unit 15 may extract the edge of the inspection target P imaged as the reference image, and determine whether the edge shape is a rectangle.

基準画像として適格でないと判定された場合(ステップS2;NO)、検査装置10は、ステップS1の処理に戻る。   If it is determined that the reference image is not qualified (step S2; NO), the inspection apparatus 10 returns to the process of step S1.

基準画像として適格と判定された場合(ステップS2;YES)、検査システム1は、基準画像として画像を登録する(ステップS3)。具体的には、検査装置10のシステム制御部15が、撮像した画像を基準画像として記憶部11に記憶する。   When it is determined that the reference image is qualified (step S2; YES), the inspection system 1 registers the image as the reference image (step S3). Specifically, the system control unit 15 of the inspection apparatus 10 stores the captured image in the storage unit 11 as a reference image.

次に、検査システム1は、基準画像の基準特徴点を抽出する(ステップS4)。具体的には、検査装置10のシステム制御部15が、画像処理をして、図5に示すように、基準画像の図形や絵柄である「○」「□」「×」「△」等の特徴点を抽出する。例えば、システム制御部15が、基準画像を微分処理して、エッジを抽出し、特徴部分を抽出する。図形「○」「□」「×」「△」における、縁の部分や、交点等の特徴点を抽出する。   Next, the inspection system 1 extracts the reference feature point of the reference image (step S4). Specifically, the system control unit 15 of the inspection apparatus 10 performs image processing, and as shown in FIG. 5, “○”, “□”, “×”, “△”, etc., which are figures and patterns of the reference image, etc. Extract feature points. For example, the system control unit 15 performs differential processing on the reference image, extracts edges, and extracts feature portions. Feature points such as edge portions and intersections in the figures “◯”, “□”, “×”, and “△” are extracted.

また、システム制御部15が、基準画像の縁を求め、基準画像の四隅を求め、特徴点とする。   Further, the system control unit 15 obtains the edge of the reference image, obtains the four corners of the reference image, and sets them as feature points.

なお、図形および絵柄には大きさがあるので、図形や絵柄の特徴点の中から1つの特徴点や重心を、その図形や絵柄の特徴点としてもよい。また、検査装置10は、部分的な図柄「○」等の面積を求めてもよいし、部分的な図柄の特徴点間の距離を求めてもよい。また、検査装置10は、図柄「A」の場合、文字「A」の先端部、線分の先、線分の交点等の特徴点を求めてもよい。   Since figures and designs have sizes, one feature point or centroid from among the feature points of the figure or design may be used as the feature point of the figure or design. Further, the inspection apparatus 10 may obtain an area such as a partial symbol “◯” or may obtain a distance between feature points of the partial symbols. Further, in the case of the pattern “A”, the inspection apparatus 10 may obtain a feature point such as the tip of the character “A”, the tip of the line segment, or the intersection of the line segment.

基準画像から基準特徴点を求めたら、検査装置10のシステム制御部15が、基準特徴点から基準仮想点を算出する。例えば、図6に示すように、検査対象Pの搬送方向yで、検査対象Pの中心を通る中心線(x=x0)と、各特徴点を通る仮想線(x=x1、x=x2、x=x3、x=x4)が設定される。検査対象Pの搬送方向と直角方向xで、各特徴点を通る仮想線が設定される。   After obtaining the reference feature point from the reference image, the system control unit 15 of the inspection apparatus 10 calculates a reference virtual point from the reference feature point. For example, as shown in FIG. 6, in the conveyance direction y of the inspection target P, a center line (x = x0) passing through the center of the inspection target P and virtual lines (x = x1, x = x2, x = x3, x = x4) is set. An imaginary line passing through each feature point is set in the direction x perpendicular to the conveyance direction of the inspection target P.

また、中心線を含むこれらの仮想線の交点上、および、基準画像の縁と仮想線との交点上に、基準仮想点が設定され、座標が算出される。   Further, reference virtual points are set on the intersections of these virtual lines including the center line, and on the intersections of the edges of the reference image and the virtual lines, and coordinates are calculated.

検査装置10のシステム制御部15が、各基準特徴点および基準仮想点の座標(x、y)を、記憶部11に記憶する。   The system control unit 15 of the inspection apparatus 10 stores the coordinates (x, y) of each reference feature point and reference virtual point in the storage unit 11.

このように、検査装置10が、前記基準画像から複数の基準特徴点を抽出する基準特徴点抽出手段の一例として機能する。検査装置10が、前記複数の基準特徴点から、基準仮想点を算出する基準仮想点算出手段の一例として機能する。   In this way, the inspection apparatus 10 functions as an example of a reference feature point extraction unit that extracts a plurality of reference feature points from the reference image. The inspection apparatus 10 functions as an example of a reference virtual point calculation unit that calculates a reference virtual point from the plurality of reference feature points.

基準画像の登録が終わったら、検査システム1は、検査対象Pに対して、印刷を開始し、ブランケット胴42により基準画像と同じ印刷情報が印刷された検査対象Pが、圧胴43により搬送される。すなわち、検査システム1において、検査装置10の指令に従って搬送装置40により、検査対象Pは、撮像装置20の撮像領域に向けて搬送されてくる。   When the registration of the reference image is completed, the inspection system 1 starts printing on the inspection target P, and the inspection target P on which the same print information as the reference image is printed by the blanket cylinder 42 is conveyed by the impression cylinder 43. The In other words, in the inspection system 1, the inspection target P is transported toward the imaging region of the imaging device 20 by the transport device 40 in accordance with a command from the inspection device 10.

検査システム1は、検査対象の検査画像を撮像する(ステップS5)。具体的には、撮像装置20が、圧胴43により搬送される検査対象Pを撮像する。検査対象Pがy方向に搬送され、図7に示すように、検査対象Pが跳ね上がり、検査対象Pの後半部分が、撮像装置20に近づく。そのため、例えば、図8に示すように、検査対象Pの後半部分が膨張したような、画像が撮像される。   The inspection system 1 captures an inspection image to be inspected (Step S5). Specifically, the imaging device 20 images the inspection object P conveyed by the impression cylinder 43. The inspection target P is conveyed in the y direction, and as shown in FIG. 7, the inspection target P jumps up, and the latter half of the inspection target P approaches the imaging device 20. Therefore, for example, as shown in FIG. 8, an image is captured such that the latter half of the inspection target P is expanded.

検査装置10のシステム制御部15が、撮像装置20から画像データを取得して、記憶部11に記憶する。   The system control unit 15 of the inspection apparatus 10 acquires image data from the imaging apparatus 20 and stores it in the storage unit 11.

このように、検査装置10が、前記検査対象の検査画像を撮像手段から取得する検査画像取得手段の一例として機能する。   In this manner, the inspection apparatus 10 functions as an example of an inspection image acquisition unit that acquires the inspection image to be inspected from the imaging unit.

次に、検査システム1は、検査画像の検査特徴点を抽出する(ステップS6)。具体的には、検査装置10のシステム制御部15が、ステップS4のように、検査対象Pの検査画像の検査特徴点を抽出する。   Next, the inspection system 1 extracts inspection feature points of the inspection image (step S6). Specifically, the system control unit 15 of the inspection apparatus 10 extracts inspection feature points of the inspection image of the inspection target P as in step S4.

次に、検査装置10のシステム制御部15が、ステップS4のように、複数の検査特徴点から、検査仮想点を算出する。例えば、y方向の中心線と、検査特徴点を通るx方向の仮想線が設定される。検査対象Pの検査画像の搬送方向yに沿った縁の形状が、微分処理等により算出される。例えば、検査特徴点と、中心線および縁の形状の線との距離に応じて、検査特徴点を通るy方向の仮想線(x=f(y))が決定される。   Next, the system control unit 15 of the inspection apparatus 10 calculates an inspection virtual point from a plurality of inspection feature points as in step S4. For example, a center line in the y direction and an imaginary line in the x direction passing through the inspection feature point are set. The shape of the edge along the conveyance direction y of the inspection image of the inspection object P is calculated by differential processing or the like. For example, an imaginary line (x = f (y)) in the y direction passing through the inspection feature point is determined according to the distance between the inspection feature point and the center line and the edge-shaped line.

次に、検査装置10のシステム制御部15が、ステップS4のように、中心線を含むこれらの仮想線の交点上に、および、検査画像の縁と仮想線との交点上に、検査仮想点を設定し、座標を算出する。   Next, the system control unit 15 of the inspection apparatus 10 performs the inspection virtual point on the intersection of these virtual lines including the center line and on the intersection of the edge of the inspection image and the virtual line as in step S4. To calculate the coordinates.

このように、検査装置10が、前記検査画像から複数の検査特徴点を抽出する検査特徴点抽出手段の一例として機能する。検査装置10が、前記複数の検査特徴点から、検査仮想点を算出する検査仮想点算出手段の一例として機能する。   Thus, the inspection apparatus 10 functions as an example of an inspection feature point extraction unit that extracts a plurality of inspection feature points from the inspection image. The inspection apparatus 10 functions as an example of an inspection virtual point calculation unit that calculates an inspection virtual point from the plurality of inspection feature points.

次に、検査システム1は、基準特徴点と検査特徴点とから、検査対象の3次元形状を算出する(ステップS7)。具体的には、検査装置10のシステム制御部15が、基準特徴点の座標と、基準特徴点に対応する検査特徴点の座標とから、x−y面における変位を算出する。検査装置10のシステム制御部15が、基準仮想点の座標と、基準仮想点に対応する検査仮想点の座標とから、x−y面における変位を算出する。   Next, the inspection system 1 calculates a three-dimensional shape to be inspected from the reference feature points and the inspection feature points (step S7). Specifically, the system control unit 15 of the inspection apparatus 10 calculates the displacement in the xy plane from the coordinates of the reference feature points and the coordinates of the inspection feature points corresponding to the reference feature points. The system control unit 15 of the inspection apparatus 10 calculates the displacement in the xy plane from the coordinates of the reference virtual point and the coordinates of the inspection virtual point corresponding to the reference virtual point.

さらに、検査装置10のシステム制御部15が、検査画像における所定部分の図形や図柄の大きさ(面積)や特徴点間の距離を算出する。   Furthermore, the system control unit 15 of the inspection apparatus 10 calculates the size (area) of the graphic or design of the predetermined portion in the inspection image and the distance between the feature points.

システム制御部15が、x−y面における変位と、撮像装置20の設定位置との関係から、各検査特徴点および各検査仮想点における撮像方向zの変位を算出する。さらに、基準画像および検査画像における、互いに対応する所定部分の図形や図柄の大きさ(面積)や特徴点間の距離の変化より、各検査特徴点および各検査仮想点における撮像方向zの変位を算出する。撮像装置20に近づくほど、図形や図柄の大きさ(面積)が大きくなり、図形や図柄における特徴点間の距離が大きくなる。   The system control unit 15 calculates the displacement in the imaging direction z at each inspection feature point and each inspection virtual point from the relationship between the displacement in the xy plane and the set position of the imaging device 20. Furthermore, the displacement in the imaging direction z at each inspection feature point and each inspection virtual point is determined from the change in the size (area) of the figure or pattern corresponding to each other and the distance between the feature points in the reference image and the inspection image. calculate. The closer to the imaging device 20, the larger the size (area) of the graphic or design, and the greater the distance between feature points in the graphic or design.

図9に示すように、仮想点の場合、y座標が同じ検査特徴点の撮像方向zの変位を、仮想点の変位としてもよい。すなわち、x方向に並んだ仮想点と、検査特徴点の撮像方向zの変位を同じにしてもよい。   As shown in FIG. 9, in the case of a virtual point, the displacement in the imaging direction z of the inspection feature point having the same y coordinate may be used as the displacement of the virtual point. That is, the virtual points arranged in the x direction and the displacement of the inspection feature points in the imaging direction z may be the same.

図10に示すように、システム制御部15が、まず、中心線上の各検査特徴点または各検査仮想点におけるz方向における変位を算出する。システム制御部15が、y方向に沿った、他の仮想線におけるz方向における変位を算出する。   As shown in FIG. 10, the system control unit 15 first calculates the displacement in the z direction at each inspection feature point or each inspection virtual point on the center line. The system control unit 15 calculates the displacement in the z direction along other imaginary lines along the y direction.

図10に示すように、システム制御部15が、y方向に沿った各仮想線に対して、y−zにおいて、各検査特徴点または各検査仮想点を補間する補間曲線(例えば、スプライン関数)を算出する。なお、補間曲線(z=g(y))の長さが、検査対象Pのy方向の長さLという拘束条件を加える。   As shown in FIG. 10, the system control unit 15 interpolates each inspection feature point or each inspection virtual point in yz with respect to each virtual line along the y direction (for example, a spline function). Is calculated. Note that the length of the interpolation curve (z = g (y)) imposes a constraint that the inspection object P has a length L in the y direction.

図10に示すように、検査装置10のシステム制御部15が、検査対象Pのy方向の長さLを所定数(例えば、m)で等分した長さl(=L/m)で、各補間曲線(z=g(y))を、曲線上に沿って分割し、曲線上の点の位置(y,z)を算出する。なお、中心線以外は、仮想線(x=f(y))に沿ったr座標により、補間曲線(z=g’(r))および曲線上の点の位置(r、z)が算出される。   As shown in FIG. 10, the system control unit 15 of the inspection apparatus 10 has a length l (= L / m) obtained by equally dividing the length L in the y direction of the inspection target P by a predetermined number (for example, m). Each interpolation curve (z = g (y)) is divided along the curve, and the position (y, z) of the point on the curve is calculated. In addition to the center line, the interpolation curve (z = g ′ (r)) and the position (r, z) of the point on the curve are calculated from the r coordinate along the virtual line (x = f (y)). The

曲線上の点の位置(y,g(y))または(r,g’(r))が求まると、仮想線(x=f(y))より、対応する検査画像の座標が求まり、3次元の座標のデータが得られる。   When the position (y, g (y)) or (r, g ′ (r)) of the point on the curve is obtained, the coordinates of the corresponding inspection image are obtained from the virtual line (x = f (y)). Dimensional coordinate data is obtained.

y方向に沿った各仮想線(x=f(y))と各補間曲線(z=f(y))とから、各補間曲線上に沿って長さlで分割した各点に対して、3次元の座標が計算され、検査対象Pの3次元形状が表現される。このように、y方向に沿った各仮想線に対する各補間曲線が算出され、検査対象Pの3次元形状が算出される。なお、これらの3次元の点を通る3次元関数z=s(x,y)が算出されてもよい。   From each virtual line (x = f (y)) and each interpolation curve (z = f (y)) along the y direction, for each point divided by the length l along each interpolation curve, Three-dimensional coordinates are calculated, and the three-dimensional shape of the inspection object P is expressed. Thus, each interpolation curve for each virtual line along the y direction is calculated, and the three-dimensional shape of the inspection object P is calculated. Note that a three-dimensional function z = s (x, y) passing through these three-dimensional points may be calculated.

このように、検査装置10が、前記基準特徴点と当該基準特徴点に対応する検査画像の検査特徴点とから、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出手段の一例として機能する。検査装置10が、前記基準仮想点も前記基準特徴点として、かつ、前記検査仮想点も前記検査特徴点として、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出手段の一例として機能する。検査装置10が、前記検査特徴点を通る仮想線を算出し、当該仮想線上における前記検査特徴点に関連する複数の点において、前記撮像方向の変位を算出し、当該仮想線に対応した前記撮像方向の変位の近似曲線を算出し、当該近似曲線に基づき、当該仮想線における前記撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出手段の一例として機能する。   As described above, the inspection apparatus 10 calculates the displacement in the imaging direction of the imaging unit from the reference feature point and the inspection feature point of the inspection image corresponding to the reference feature point, and calculates the three-dimensional shape of the inspection target. Functions as an example of a three-dimensional shape calculating means. The inspection apparatus 10 calculates a displacement in the imaging direction of the imaging unit by using the reference virtual point as the reference feature point and the inspection virtual point as the inspection feature point, and calculates a three-dimensional shape of the inspection target. It functions as an example of a three-dimensional shape calculation means. The inspection apparatus 10 calculates a virtual line passing through the inspection feature point, calculates a displacement in the imaging direction at a plurality of points related to the inspection feature point on the virtual line, and the imaging corresponding to the virtual line It functions as an example of a three-dimensional shape calculation unit that calculates an approximate curve of displacement in the direction, obtains the displacement in the imaging direction of the virtual line based on the approximate curve, and calculates the three-dimensional shape of the inspection target.

次に、検査システム1は、3次元形状により検査対象を補正する(ステップS8)。上記算出された3次元の座標のx座標の値およびy座標の値は、検査画像の各仮想線(x=f(y))の上の点であり、図10に示すように、基準画像の(x0,n×l)、(x1,n×l)、(x2,n×l)、(x3,n×l)、(x4,n×l)のいずれか1つに対応する(nは自然数;l=L/m)。この対応関係により、検査対象Pの変形の方向や大きさが算出できる。   Next, the inspection system 1 corrects the inspection object with the three-dimensional shape (step S8). The x-coordinate value and the y-coordinate value of the calculated three-dimensional coordinates are points on each virtual line (x = f (y)) of the inspection image, and as shown in FIG. Corresponding to any one of (x0, n × l), (x1, n × l), (x2, n × l), (x3, n × l), (x4, n × l) Is a natural number; l = L / m). From this correspondence, the direction and magnitude of deformation of the inspection object P can be calculated.

この対応関係により、検査装置10のシステム制御部15が、検査画像の各画素に対して、近傍の上記算出された3次元の座標のx座標の値およびy座標の値から、この画素における画像の変形の方向や大きさを算出する。   With this correspondence, the system control unit 15 of the inspection apparatus 10 determines the image at this pixel from the x-coordinate value and the y-coordinate value of the calculated three-dimensional coordinates in the vicinity for each pixel of the inspection image. The direction and size of the deformation is calculated.

検査装置10のシステム制御部15が、画素における画像の変形の方向や大きさに基づき、図10に示すように、検査画像を補正する。   The system control unit 15 of the inspection apparatus 10 corrects the inspection image as shown in FIG. 10 based on the deformation direction and size of the image in the pixels.

なお、3次元関数z=s(x,y)と、基準画像との関係により、補正が行われてもよい。   Note that correction may be performed according to the relationship between the three-dimensional function z = s (x, y) and the reference image.

このように、検査装置10が、前記3次元形状に応じて、前記検査画像を補正する補正手段の一例として機能する。   Thus, the inspection apparatus 10 functions as an example of a correction unit that corrects the inspection image according to the three-dimensional shape.

次に、検査システム1は、検査対象を検査する(ステップS9)。具体的には、検査装置10のシステム制御部15が、補正された検査画像と、基準画像とを比較して、印刷の抜け、色の違い等を判定することにより、検査対象Pを検査する。なお、補正後の検査画像と基準画像とを重ね合わせ表示させ、人間が検査しやすい状態に表示してもよい。この場合、検査装置10のシステム制御部15が、操作部13から検査結果の入力を受け付ける。   Next, the inspection system 1 inspects the inspection object (step S9). Specifically, the system control unit 15 of the inspection apparatus 10 inspects the inspection target P by comparing the corrected inspection image and the reference image to determine missing prints, color differences, and the like. . Note that the corrected inspection image and the reference image may be displayed in a superimposed manner so that they can be easily inspected by humans. In this case, the system control unit 15 of the inspection apparatus 10 accepts input of inspection results from the operation unit 13.

このように、検査装置10が、前記補正された検査画像に基づき、前記検査対象を検査する検査手段の一例として機能する。   As described above, the inspection apparatus 10 functions as an example of an inspection unit that inspects the inspection object based on the corrected inspection image.

次に、検査システム1は、終わりか否かを判定する(ステップS10)。具体的には、検査装置10のシステム制御部15が、次の検査対象Pが搬送されてきたかを判定する。次の検査対象Pが搬送された場合(ステップS10;NO)、終わりでないので、検査装置10は、ステップS5の処理に戻る。次の検査対象Pが搬送されて来ない場合(ステップS10;YES)、検査装置10は、一連の処理を終了する。   Next, the inspection system 1 determines whether or not it is over (step S10). Specifically, the system control unit 15 of the inspection apparatus 10 determines whether the next inspection target P has been conveyed. When the next inspection target P is conveyed (step S10; NO), the inspection apparatus 10 returns to the process of step S5 because it is not the end. When the next inspection target P is not conveyed (step S10; YES), the inspection apparatus 10 ends a series of processes.

以上、本実施形態によれば、印刷情報が印刷された検査対象Pと同じ印刷情報を有する基準画像の基準特徴点と、当該基準特徴点に対応する検査対象Pの検査画像の検査特徴点と、から求められる撮像装置20の撮像方向の変位zから算出される検査対象の3次元形状に基づき、検査対象の画像の変形を補正して、検査対象を高精度に検査することができる。   As described above, according to the present embodiment, the reference feature point of the reference image having the same print information as the inspection target P on which the print information is printed, and the inspection feature point of the inspection image of the inspection target P corresponding to the reference feature point Based on the three-dimensional shape of the inspection target calculated from the displacement z in the imaging direction of the imaging device 20 obtained from the above, the inspection target can be inspected with high accuracy by correcting the deformation of the image of the inspection target.

また、複数の基準特徴点から、基準仮想点を算出し、複数の検査特徴点から、検査仮想点を算出し、基準仮想点も基準特徴点として、かつ、検査仮想点も検査特徴点として、撮像装置20の撮像方向zの変位を求め、検査対象Pの3次元形状を算出する場合、仮想点として、検査対象Pの上の特徴点が増加したことにより、補正の精度が向上し、検査対象Pを高精度に検査することができる。   Further, a reference virtual point is calculated from a plurality of reference feature points, an inspection virtual point is calculated from a plurality of inspection feature points, the reference virtual point is also used as a reference feature point, and the inspection virtual point is also used as an inspection feature point. When obtaining the displacement in the imaging direction z of the imaging device 20 and calculating the three-dimensional shape of the inspection target P, the number of feature points on the inspection target P has increased as virtual points, thereby improving the accuracy of correction and The object P can be inspected with high accuracy.

また、検査対象が、枚葉の検査対象である場合、枚葉の検査対象に対して、1枚1枚、3次元形状を算出して、補正することで、検査対象Pを高精度に検査することができる。   Further, when the inspection object is a single wafer inspection object, the inspection object P is inspected with high accuracy by calculating and correcting one sheet, a three-dimensional shape for each single wafer inspection object. can do.

検査対象が、ロールから巻き出されたシート状の検査対象である場合、ロールから巻き出されたシート状の検査対象であっても、検査対象の搬送方向に沿った縦皺、撓みに対しても、補正が可能である。   When the inspection object is a sheet-like inspection object unwound from a roll, even if it is a sheet-like inspection object unwound from a roll, against vertical warp and deflection along the conveyance direction of the inspection object Can also be corrected.

また、検査特徴点を通る仮想線を算出し、当該仮想線上における検査特徴点に関連する複数の点において、撮像方向zの変位を算出し、当該仮想線に対応した撮像方向zの変位の近似曲線を算出し、当該近似曲線に基づき、当該仮想線における撮像方向の変位zを求め、検査対象の3次元形状を算出する場合、近似曲線により、簡易に、3次元形状を算出することができる。また、近似曲線により、特徴点または仮想点以外の画素に対して、撮像方向の変位zが算出でき、補正の精度が向上し、検査対象Pを高精度に検査することができる。   In addition, a virtual line passing through the inspection feature point is calculated, a displacement in the imaging direction z is calculated at a plurality of points related to the inspection feature point on the virtual line, and an approximation of the displacement in the imaging direction z corresponding to the virtual line is calculated. When calculating a curve, obtaining a displacement z in the imaging direction in the virtual line based on the approximate curve, and calculating a three-dimensional shape to be inspected, the three-dimensional shape can be easily calculated by the approximate curve. . Further, the approximate curve can calculate the displacement z in the imaging direction for pixels other than the feature points or the virtual points, so that the correction accuracy can be improved and the inspection target P can be inspected with high accuracy.

次に、本実施形態の変形例について、図11を用いて説明する。
図11は、検査対象の変形例を示す模式図である。
Next, a modification of this embodiment will be described with reference to FIG.
FIG. 11 is a schematic diagram illustrating a modified example of the inspection target.

図11に示すように、検査対象Pは、ロールから連続して巻き出されるシート状の印刷物でもよい。検査対象Pには、例えば、帳票用の印刷情報が、次々に印刷される。撮像装置20は、印刷後の検査対象Pを撮像する。   As shown in FIG. 11, the inspection target P may be a sheet-like printed matter that is continuously unwound from a roll. On the inspection object P, for example, print information for forms is printed one after another. The imaging device 20 images the inspection target P after printing.

ロールから巻き出されるシート状の印刷物は、図11に示すように、印刷用のインク等により、搬送方向yにへこみや撓みが発生することがある。すなわち、x方向に応じて、検査対象Pが近づいたり離れたりする。上述の枚葉の検査対象Pのように、y方向に沿った仮想線でなく、x方向に沿った仮想線を中心に、検査装置10は、3次元形状を求めてもよい。   As shown in FIG. 11, the sheet-like printed matter unwound from the roll may be dented or bent in the transport direction y due to printing ink or the like. That is, the inspection target P approaches or leaves depending on the x direction. The inspection apparatus 10 may obtain a three-dimensional shape around the virtual line along the x direction instead of the virtual line along the y direction as in the above-described single wafer inspection target P.

このように、ロールから巻き出されたシート状の検査対象にも適用できる。   In this way, the present invention can also be applied to a sheet-like inspection object unwound from a roll.

なお、基準画像は、撮像装置20が撮像した画像でなく、印刷情報自体でもよい。この場合、ステップS1およびS2が省略され、ステップS3において、検査装置10のシステム制御部15が、基準画像として、印刷情報を取得して、記憶する。   Note that the reference image may be print information itself, not an image captured by the imaging device 20. In this case, steps S1 and S2 are omitted, and in step S3, the system control unit 15 of the inspection apparatus 10 acquires and stores print information as a reference image.

印刷情報自体を基準画像とする場合、プリンタに対して本発明を適用できる。例えば、プリンタにより印刷された印刷物である検査対象Pに対して、検査が実行できる。プリンタの印刷情報が基準画像となる。   When the print information itself is used as a reference image, the present invention can be applied to a printer. For example, the inspection can be performed on the inspection object P that is a printed matter printed by a printer. The printing information of the printer becomes the reference image.

プリンタにより印刷された印刷物が、プリンタのインク、プリンタの熱、フィードアウトの経路等により印刷物が変形した場合、経年変化により紙が変形した場合、印刷物が一度丸められて展開された場合等、印刷物が変形しても、真贋判定等の印刷の検査を行うことができる。   Printed material printed by the printer, such as when the printed material is deformed due to printer ink, printer heat, feedout route, etc., when the paper is deformed due to secular change, when the printed material is rolled up once and developed, etc. Even if the deformation occurs, it is possible to perform printing inspection such as authentication.

また、検査システム1は、検査対象Pにレーザ光を照射するレーザ照射装置を更に備えてもよい。所定の形状のレーザ光を照射して、撮像装置20が画像を撮像して、所定の形状の変形の仕方より、z方向の変位を測定する。   The inspection system 1 may further include a laser irradiation device that irradiates the inspection target P with laser light. The imaging device 20 irradiates a laser beam having a predetermined shape, picks up an image, and measures the displacement in the z direction according to how the predetermined shape is deformed.

1:検査システム
10:検査装置
20:撮像装置(撮像手段)
P:検査対象
1: Inspection system 10: Inspection device 20: Imaging device (imaging means)
P: Inspection target

Claims (7)

印刷情報が印刷された検査対象と同じ印刷情報の基準画像を取得する基準画像取得手段と、
前記基準画像から複数の基準特徴点を抽出する基準特徴点抽出手段と、
前記検査対象の検査画像を撮像手段から取得する検査画像取得手段と、
前記検査画像から複数の検査特徴点を抽出する検査特徴点抽出手段と、
前記基準特徴点と当該基準特徴点に対応する検査画像の検査特徴点とから、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出手段と、
前記3次元形状に応じて、前記検査画像を補正する補正手段と、
前記補正された検査画像に基づき、前記検査対象を検査する検査手段と、
を備えたことを特徴とする検査装置。
Reference image acquisition means for acquiring a reference image of the same print information as the inspection object on which the print information is printed;
Reference feature point extracting means for extracting a plurality of reference feature points from the reference image;
Inspection image acquisition means for acquiring the inspection image of the inspection object from the imaging means;
Inspection feature point extracting means for extracting a plurality of inspection feature points from the inspection image;
A three-dimensional shape calculating means for calculating a displacement in the imaging direction of the imaging means and calculating a three-dimensional shape of the inspection object from the reference feature points and the inspection feature points of the inspection image corresponding to the reference feature points;
Correction means for correcting the inspection image according to the three-dimensional shape;
Inspection means for inspecting the inspection object based on the corrected inspection image;
An inspection apparatus comprising:
請求項1に記載の検査装置において、
前記複数の基準特徴点から、基準仮想点を算出する基準仮想点算出手段と、
前記複数の検査特徴点から、検査仮想点を算出する検査仮想点算出手段と、
を更に備え、
前記3次元形状算出手段が、前記基準仮想点も前記基準特徴点として、かつ、前記検査仮想点も前記検査特徴点として、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出することを特徴とする検査装置。
The inspection apparatus according to claim 1,
Reference virtual point calculation means for calculating a reference virtual point from the plurality of reference feature points;
Inspection virtual point calculation means for calculating an inspection virtual point from the plurality of inspection feature points;
Further comprising
The three-dimensional shape calculation means obtains a displacement in the imaging direction of the imaging means by using the reference virtual point as the reference feature point and the inspection virtual point as the inspection feature point, and the three-dimensional shape of the inspection target An inspection apparatus characterized by calculating
請求項1または請求項2に記載の検査装置において、
前記検査対象が、枚葉の検査対象であることを特徴とする検査装置。
The inspection apparatus according to claim 1 or 2,
An inspection apparatus, wherein the inspection object is a single-wafer inspection object.
請求項1または請求項2に記載の検査装置において、
前記検査対象が、ロールから巻き出されたシート状の検査対象であることを特徴とする検査装置。
The inspection apparatus according to claim 1 or 2,
The inspection apparatus is a sheet-like inspection object unwound from a roll.
請求項1から4のいずれか1項に記載の検査装置において、
前記3次元形状算出手段が、前記検査特徴点を通る仮想線を算出し、当該仮想線上における前記検査特徴点に関連する複数の点において、前記撮像方向の変位を算出し、当該仮想線に対応した前記撮像方向の変位の近似曲線を算出し、当該近似曲線に基づき、当該仮想線における前記撮像方向の変位を求め、前記検査対象の3次元形状を算出することを特徴とする検査装置。
The inspection apparatus according to any one of claims 1 to 4,
The three-dimensional shape calculating means calculates a virtual line passing through the inspection feature point, calculates a displacement in the imaging direction at a plurality of points related to the inspection feature point on the virtual line, and corresponds to the virtual line An inspection apparatus that calculates an approximate curve of displacement in the imaging direction, obtains a displacement in the imaging direction of the virtual line based on the approximate curve, and calculates a three-dimensional shape of the inspection target.
基準画像取得手段が、印刷情報が印刷された検査対象と同じ印刷情報の基準画像を取得する基準画像取得ステップと、
基準特徴点抽出手段が、前記基準画像から複数の基準特徴点を抽出する基準特徴点抽出ステップと、
検査画像取得手段が、前記検査対象の検査画像を撮像手段から取得する検査画像取得ステップと、
検査特徴点抽出手段が、前記検査画像から複数の検査特徴点を抽出する検査特徴点抽出ステップと、
3次元形状算出手段が、前記基準特徴点と当該基準特徴点に対応する検査画像の検査特徴点とから、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出ステップと、
補正手段が、前記3次元形状に応じて、前記検査画像を補正する補正ステップと、
検査手段が、前記補正された検査画像に基づき、前記検査対象を検査する検査ステップと、
を有することを特徴とする検査方法。
A reference image acquisition step in which the reference image acquisition means acquires a reference image of the same print information as the inspection object on which the print information is printed;
A reference feature point extracting means for extracting a plurality of reference feature points from the reference image;
An inspection image acquisition unit acquires an inspection image of the inspection object from an imaging unit, and
An inspection feature point extracting unit extracts a plurality of inspection feature points from the inspection image; and
A three-dimensional shape calculation unit calculates a displacement in the imaging direction of the imaging unit from the reference feature point and an inspection feature point of an inspection image corresponding to the reference feature point, and calculates a three-dimensional shape of the inspection target A dimensional shape calculating step;
A correcting step for correcting the inspection image according to the three-dimensional shape;
An inspection step for inspecting the inspection object based on the corrected inspection image;
An inspection method characterized by comprising:
コンピュータを、
印刷情報が印刷された検査対象と同じ印刷情報の基準画像を取得する基準画像取得手段、
前記基準画像から複数の基準特徴点を抽出する基準特徴点抽出手段、
前記検査対象の検査画像を撮像手段から取得する検査画像取得手段、
前記検査画像から複数の検査特徴点を抽出する検査特徴点抽出手段、
前記基準特徴点と当該基準特徴点に対応する検査画像の検査特徴点とから、前記撮像手段の撮像方向の変位を求め、前記検査対象の3次元形状を算出する3次元形状算出手段、
前記3次元形状に応じて、前記検査画像を補正する補正手段、および、
前記補正された検査画像に基づき、前記検査対象を検査する検査手段として機能させることを特徴とする検査装置用のプログラム。
Computer
Reference image acquisition means for acquiring a reference image of the same print information as the inspection object on which the print information is printed;
Reference feature point extraction means for extracting a plurality of reference feature points from the reference image;
Inspection image acquisition means for acquiring the inspection image of the inspection object from the imaging means,
Inspection feature point extracting means for extracting a plurality of inspection feature points from the inspection image;
A three-dimensional shape calculation means for obtaining a displacement in the imaging direction of the imaging means from the reference feature point and an inspection feature point of an inspection image corresponding to the reference feature point, and calculating a three-dimensional shape of the inspection object;
Correction means for correcting the inspection image according to the three-dimensional shape; and
A program for an inspection apparatus that functions as inspection means for inspecting the inspection object based on the corrected inspection image.
JP2015030221A 2015-02-19 2015-02-19 Inspection apparatus, inspection method, and program for inspection apparatus Active JP6424667B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015030221A JP6424667B2 (en) 2015-02-19 2015-02-19 Inspection apparatus, inspection method, and program for inspection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015030221A JP6424667B2 (en) 2015-02-19 2015-02-19 Inspection apparatus, inspection method, and program for inspection apparatus

Publications (2)

Publication Number Publication Date
JP2016151534A true JP2016151534A (en) 2016-08-22
JP6424667B2 JP6424667B2 (en) 2018-11-21

Family

ID=56695517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015030221A Active JP6424667B2 (en) 2015-02-19 2015-02-19 Inspection apparatus, inspection method, and program for inspection apparatus

Country Status (1)

Country Link
JP (1) JP6424667B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230101468A1 (en) * 2021-09-24 2023-03-30 Canon Kabushiki Kaisha Print system, printing apparatus, method of controlling the printing apparatus, and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760925A (en) * 1996-05-30 1998-06-02 Xerox Corporation Platenless book scanning system with a general imaging geometry
JP2005045723A (en) * 2003-07-25 2005-02-17 Fuji Xerox Co Ltd Image correcting apparatus
JP2009229110A (en) * 2008-03-19 2009-10-08 Toshiba Corp Image input method and image input device
JP2011252886A (en) * 2010-06-04 2011-12-15 Toppan Printing Co Ltd Inspection method for printed matter and inspection device therefor
JP2014182012A (en) * 2013-03-19 2014-09-29 Dainippon Printing Co Ltd Inspection device, inspection method, and program for inspection device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760925A (en) * 1996-05-30 1998-06-02 Xerox Corporation Platenless book scanning system with a general imaging geometry
JP2005045723A (en) * 2003-07-25 2005-02-17 Fuji Xerox Co Ltd Image correcting apparatus
JP2009229110A (en) * 2008-03-19 2009-10-08 Toshiba Corp Image input method and image input device
JP2011252886A (en) * 2010-06-04 2011-12-15 Toppan Printing Co Ltd Inspection method for printed matter and inspection device therefor
JP2014182012A (en) * 2013-03-19 2014-09-29 Dainippon Printing Co Ltd Inspection device, inspection method, and program for inspection device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230101468A1 (en) * 2021-09-24 2023-03-30 Canon Kabushiki Kaisha Print system, printing apparatus, method of controlling the printing apparatus, and storage medium
US11947853B2 (en) * 2021-09-24 2024-04-02 Canon Kabushiki Kaisha Print system, printing apparatus, method of controlling the printing apparatus, and storage medium

Also Published As

Publication number Publication date
JP6424667B2 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
US10471743B2 (en) Printer and a method of printing
TWI448839B (en) Drawing data correction apparatus and drawing apparatus
TWI500925B (en) Check the device, check the method and check the program
US11514568B2 (en) Image processing apparatus, image processing method, and storage medium
WO2015166797A1 (en) Color measurement device and color measurement method
JP2022094791A5 (en)
CN111300983B (en) Fast image correction for image inspection
JP6424667B2 (en) Inspection apparatus, inspection method, and program for inspection apparatus
JP2013250190A (en) Inspection method and inspection apparatus of printed matter
JP3443016B2 (en) Print control device, print control method, and recording medium
KR20140113449A (en) Drawing data generating method, drawing method, drawing data generating apparatus and drawing apparatus
JP6357864B2 (en) Printing inspection apparatus and printing inspection method
JP6236819B2 (en) Inspection device, inspection method, and program for inspection device
JP6163806B2 (en) Inspection device, inspection method, and program for inspection device
JP6359363B2 (en) Container inspection device and container inspection method
JP2011252886A (en) Inspection method for printed matter and inspection device therefor
JP2023175441A (en) Image processing apparatus, control method thereof, and program
JP3552196B2 (en) Print control device, print control method, and recording medium
JP2020024110A (en) Inspection device and inspection method
JP6350128B2 (en) Printed product inspection apparatus and inspection method
JP2024014720A (en) Inspection device, control method thereof, inspection system, and program
JP6248552B2 (en) Information processing apparatus, information processing method, and information processing program
JP2018043385A (en) Register control device and method of gravure printing machine
JP2017083196A (en) Inspection device, inspection method, program, and recording medium
JP2024051445A (en) Inspection system of printing medium, control method, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181008

R150 Certificate of patent or registration of utility model

Ref document number: 6424667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150