JP6455252B2 - Image inspection apparatus, image inspection system, and image inspection method - Google Patents

Description

本発明は、画像検査装置、画像検査システム及び画像検査方法に関する。   The present invention relates to an image inspection apparatus, an image inspection system, and an image inspection method.

従来、印刷物の検品は人手によって行われてきたが、近年、印刷の後処理として印刷物の検品を行う検査装置が用いられている。このような検査装置は、まず、印刷データから基準となるマスター画像を生成する。そして、検査装置は、生成したマスター画像と検査対象の印刷物の読取画像の対応する部分とを比較し、これらの差分の程度により印刷物の欠陥を判別している。さらに、検査装置は、欠陥と判別されたマスター画像と読取画像との差分画像の特徴等からスジ、汚れ等の欠陥の種類を特定することもある。   Conventionally, inspection of printed matter has been performed manually, but in recent years, inspection apparatuses that inspect printed matter as post-processing of printing have been used. Such an inspection apparatus first generates a master image serving as a reference from print data. Then, the inspection apparatus compares the generated master image with the corresponding portion of the read image of the printed material to be inspected, and determines the defect of the printed material based on the degree of these differences. Further, the inspection apparatus may specify the type of defect such as streak or dirt from the characteristics of the difference image between the master image determined to be a defect and the read image.

このような検査装置においては、マスター画像と読取画像との比較処理や欠陥種類の特定処理（以降、比較処理及び特定処理を併せて「欠陥検査」とする）の計算量が多く、検査が完了するまでに時間がかかる。そのため、検査装置における処理を効率化して、欠陥検査の計算量を低減し、検査時間を短縮することが望まれている。   In such an inspection apparatus, the amount of calculation of the comparison process between the master image and the read image and the defect type identification process (hereinafter, the comparison process and the identification process are collectively referred to as “defect inspection”) is large, and the inspection is completed. It takes time to do. Therefore, it is desired to improve the efficiency of the processing in the inspection apparatus, reduce the calculation amount of defect inspection, and shorten the inspection time.

検査装置における処理の効率化を目的として、印刷の元となるマスターデータに文字化け等の異常が発生しているかを判定し、異常がある場合はマスターデータによる印刷及び検査処理を中止することが提案されている（例えば、特許文献１を参照）。   For the purpose of improving the efficiency of processing in the inspection device, it is determined whether an abnormality such as garbled characters has occurred in the master data that is the source of printing, and if there is an abnormality, the printing and inspection processing using the master data may be stopped. It has been proposed (see, for example, Patent Document 1).

しかしながら、特許文献１に開示された技術は、マスター画像に異常がある場合に無駄な検査を行わないことにより検査装置における処理の効率化を図るものである。すなわち、欠陥検査の計算量が低減されるのは、マスター画像に異常がある場合に限定されている。   However, the technique disclosed in Patent Document 1 improves the efficiency of processing in the inspection apparatus by not performing useless inspection when there is an abnormality in the master image. That is, the amount of calculation for defect inspection is reduced only when there is an abnormality in the master image.

本発明は、このような課題を解決するためになされたものであり、マスター画像と読取画像とを比較して印刷物の欠陥を判別する画像検査装置における検査時間を短縮することを目的とする。   SUMMARY An advantage of some aspects of the invention is to shorten an inspection time in an image inspection apparatus that compares a master image and a read image to determine a defect of a printed matter.

上記課題を解決するために、本発明の一態様は、記録媒体上に画像形成出力された画像を読み取った読取画像の検査を行う画像検査装置であって、画像形成出力対象の画像に基づいて、前記読取画像の検査を行うための検査用画像を生成する検査用画像生成部と、前記読取画像と生成された前記検査用画像との差分に基づいて前記読取画像の欠陥を判定する検査を行う欠陥検査部と、前記検査用画像及び前記読取画像に基づいて、前記読取画像の欠陥を判定する検査を行うか否かを事前に判定する事前判定部とを含み、前記事前判定部は、前記検査用画像の輝度の平均値及び分散、前記読取画像の輝度の平均値及び分散、並びに前記検査用画像と前記読取画像との共分散に基づいて前記検査用画像と前記読取画像との類似度を算出し、算出した前記類似度が予め定められた閾値以下である場合に、前記読取画像の欠陥を判定する検査を行うと判定することを特徴とする。   In order to solve the above-described problem, an aspect of the present invention is an image inspection apparatus that inspects a read image obtained by reading an image formed and output on a recording medium. An inspection image generation unit that generates an inspection image for inspecting the read image, and an inspection that determines a defect of the read image based on a difference between the read image and the generated inspection image. A defect inspection unit to be performed, and a prior determination unit that determines in advance whether or not to perform an inspection for determining a defect of the read image based on the inspection image and the read image, The inspection image and the read image based on the average value and variance of the luminance of the inspection image, the average value and dispersion of the luminance of the read image, and the covariance of the inspection image and the read image. Calculate similarity and calculate Wherein when the degree of similarity is not greater than the predetermined threshold value, and judging to perform the determining inspecting defects of the read image.

本発明によれば、マスター画像と読取画像とを比較して印刷物の欠陥を判別する画像検査装置における検査時間を短縮することができる。   ADVANTAGE OF THE INVENTION According to this invention, the inspection time in the image inspection apparatus which compares a master image and a read image and discriminate | determines the defect of printed matter can be shortened.

本発明の実施形態に係る検査装置を含む画像検査システムの構成を例示する図である。It is a figure which illustrates the composition of the image inspection system containing the inspection device concerning the embodiment of the present invention. 本発明の実施形態に係る検査装置のハードウェア構成を例示するブロック図である。It is a block diagram which illustrates the hardware constitutions of the inspection apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るＤＦＥ、エンジンコントローラ、プリントエンジン、検査装置の機能構成を例示するブロック図である。It is a block diagram which illustrates functional composition of DFE, an engine controller, a print engine, and an inspection device concerning an embodiment of the present invention. 本発明の実施形態に係る比較検査の態様を例示する図である。It is a figure which illustrates the aspect of the comparison test | inspection which concerns on embodiment of this invention. 本発明の実施形態に係るプリントエンジン、検査装置及びスタッカの構成を例示する図である。1 is a diagram illustrating a configuration of a print engine, an inspection apparatus, and a stacker according to an embodiment of the invention. 本発明の実施形態に係るマスター画像処理部の機能構成を例示するブロック図である。It is a block diagram which illustrates the functional composition of the master image processing part concerning the embodiment of the present invention. 本発明の実施形態に係る検査制御部の機能構成を例示する図である。It is a figure which illustrates the function structure of the test | inspection control part which concerns on embodiment of this invention. 本発明の実施形態に係る検査動作を例示するフローチャートである。It is a flowchart which illustrates the test | inspection operation | movement which concerns on embodiment of this invention. 本発明の実施形態に係る検査制御部の機能構成を例示する図である。It is a figure which illustrates the function structure of the test | inspection control part which concerns on embodiment of this invention. 本発明の実施形態に係る区分情報で定められている標準偏差の区分と各区分に対応する閾値との関係を例示する図である。It is a figure which illustrates the relationship between the division | segmentation of the standard deviation defined by the division | segmentation information which concerns on embodiment of this invention, and the threshold value corresponding to each division. 本発明の実施形態に係る閾値設定部によるブロック画像ごとの閾値設定処理を例示するフローチャートである。It is a flowchart which illustrates the threshold value setting process for every block image by the threshold value setting part which concerns on embodiment of this invention. 本発明の実施形態に係る閾値情報記憶部に格納された閾値情報としてブロック画像ごとに閾値が設定された態様を例示する図である。It is a figure which illustrates the aspect in which the threshold value was set for every block image as threshold value information stored in the threshold value information storage part which concerns on embodiment of this invention. 本発明の実施形態に係る所定範囲ごとに分割されたマスター画像を例示する図である。It is a figure which illustrates the master image divided | segmented for every predetermined range which concerns on embodiment of this invention. 本発明の実施形態に係る閾値情報記憶部に格納された閾値情報として、ブロック画像距離に応じてブロック画像ごとに閾値が設定された態様を例示する図である。It is a figure which illustrates the aspect by which the threshold value was set for every block image as threshold value information stored in the threshold value information storage part which concerns on embodiment of this invention according to block image distance. 本発明の第２の実施形態に係る検査制御部の機能構成を例示する図である。It is a figure which illustrates the function structure of the test | inspection control part which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る検査動作を例示するフローチャートである。It is a flowchart which illustrates the test | inspection operation | movement which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る８×８画素の画像からサイズ縮小変換により得られるウェーブレット係数を例示する図である。It is a figure which illustrates the wavelet coefficient obtained by size reduction conversion from the image of 8x8 pixel which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る８×８画素のブロック画像を例示する図である。It is a figure which illustrates the block image of 8x8 pixel which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る８×８画素のブロック画像からサイズ不変変換により得られる１階層のウェーブレット係数を例示する図である。It is a figure which illustrates the wavelet coefficient of one hierarchy obtained by size invariant transformation from the block image of 8x8 pixel which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る８×８サイズの１ＬＬのウェーブレット係数からサイズ不変変換により得られる２階層のウェーブレット係数を例示する図である。It is a figure which illustrates the wavelet coefficient of the two layers obtained from a 1LL wavelet coefficient of 8x8 size which concerns on the 2nd Embodiment of this invention by size invariant transformation.

１．実施形態１
以下、図面を参照して、本発明の第１の実施形態を詳細に説明する。本実施形態においては、画像形成出力による出力結果を読み取った読取画像とマスター画像とを比較することにより出力結果を検査する検査装置を含む画像検査システムにおいて、検査時間を短縮するための機能について説明する。図１は、本実施形態に係る画像検査システムの全体構成を示す図である。 1. Embodiment 1
Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings. In this embodiment, a function for reducing the inspection time in an image inspection system including an inspection apparatus that inspects an output result by comparing a read image obtained by reading an output result by image formation output with a master image will be described. To do. FIG. 1 is a diagram illustrating an overall configuration of an image inspection system according to the present embodiment.

図１に示すように、本実施形態に係る画像検査システムは、ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）１、エンジンコントローラ２、プリントエンジン３、検査装置４及びインタフェース端末５を含む。ＤＦＥ１は、受信した印刷ジョブに基づいて印刷出力するべき画像データ、即ち出力対象画像であるビットマップデータを生成し、生成したビットマップデータをエンジンコントローラ２に出力する画像処理装置である。   As shown in FIG. 1, the image inspection system according to the present embodiment includes a DFE (Digital Front End) 1, an engine controller 2, a print engine 3, an inspection device 4, and an interface terminal 5. The DFE 1 is an image processing apparatus that generates image data to be printed based on a received print job, that is, bitmap data that is an output target image, and outputs the generated bitmap data to the engine controller 2.

エンジンコントローラ２は、ＤＦＥ１から受信したビットマップデータに基づいてプリントエンジン３を制御して画像形成出力を実行させる。また、エンジンコントローラ２は、ＤＦＥ１から受信したビットマップデータを、プリントエンジン３による画像形成出力の結果を検査装置４が検査する際に参照するための検査用画像の元となる情報として検査装置４に送信する。   The engine controller 2 controls the print engine 3 based on the bitmap data received from the DFE 1 to execute image formation output. Further, the engine controller 2 uses the bitmap data received from the DFE 1 as information serving as a basis of an inspection image to be referred to when the inspection device 4 inspects the result of image formation output by the print engine 3. Send to.

プリントエンジン３は、エンジンコントローラ２の制御に従い、ビットマップデータに基づいて記録媒体である用紙に対して画像形成出力を実行する画像形成装置である。尚、記録媒体としては、上述した用紙の他、フィルム、プラスチック等のシート状の材料で、画像形成出力の対象物となるものであれば採用可能である。   The print engine 3 is an image forming apparatus that executes image formation output on a sheet as a recording medium based on bitmap data in accordance with control of the engine controller 2. As the recording medium, in addition to the above-described paper, a sheet-like material such as a film or plastic can be used as long as it is an object for image formation output.

検査装置４は、エンジンコントローラ２から入力されたビットマップデータに基づいてマスター画像を生成する。そして、検査装置４は、プリントエンジン３が出力した用紙を読取装置で読み取って生成した読取画像を上記生成したマスター画像と比較することにより、出力結果の検査を行う画像検査装置である。   The inspection device 4 generates a master image based on the bitmap data input from the engine controller 2. The inspection device 4 is an image inspection device that inspects an output result by comparing a read image generated by reading a sheet output from the print engine 3 with a reading device with the generated master image.

検査装置４は、出力結果に欠陥があると判断した場合、欠陥として判定されたページを示す情報をエンジンコントローラ２に通知する。これにより、エンジンコントローラ２によって欠陥ページの再印刷制御が実行される。   When the inspection device 4 determines that the output result is defective, the inspection device 4 notifies the engine controller 2 of information indicating the page determined as defective. Thereby, reprint control of the defective page is executed by the engine controller 2.

インタフェース端末５は、検査装置４による欠陥判定結果を確認するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や、検査におけるパラメータを設定するためのＧＵＩを表示するための情報処理端末である。例えば、インタフェース端末５は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の一般的な情報処理端末によって実現される。   The interface terminal 5 is an information processing terminal for displaying a GUI (Graphical User Interface) for confirming a defect determination result by the inspection apparatus 4 and a GUI for setting parameters in the inspection. For example, the interface terminal 5 is realized by a general information processing terminal such as a PC (Personal Computer).

ここで、本実施形態に係るＤＦＥ１、エンジンコントローラ２、プリントエンジン３、検査装置４及びインタフェース端末５を構成するハードウェアについて、図２を参照して説明する。図２は、本実施形態に係る検査装置４のハードウェア構成を示すブロック図である。図２においては、検査装置４のハードウェア構成を示すが、他の装置についても同様である。   Here, hardware constituting the DFE 1, the engine controller 2, the print engine 3, the inspection apparatus 4, and the interface terminal 5 according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram illustrating a hardware configuration of the inspection apparatus 4 according to the present embodiment. In FIG. 2, the hardware configuration of the inspection apparatus 4 is shown, but the same applies to other apparatuses.

図２に示すように、本実施形態に係る検査装置４は、一般的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバ等の情報処理装置と同様の構成を有する。即ち、本実施形態に係る検査装置４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス９０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０、操作部７０及び専用デバイス８０が接続されている。   As shown in FIG. 2, the inspection apparatus 4 according to the present embodiment has the same configuration as an information processing apparatus such as a general PC (Personal Computer) or a server. That is, the inspection apparatus 4 according to the present embodiment includes a CPU (Central Processing Unit) 10, a RAM (Random Access Memory) 20, a ROM (Read Only Memory) 30, an HDD (Hard Disk Drive) 40, and an I / F 50. Connected through. Further, an LCD (Liquid Crystal Display) 60, an operation unit 70, and a dedicated device 80 are connected to the I / F 50.

ＣＰＵ１０は演算手段であり、検査装置４全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納されている。   The CPU 10 is a calculation means and controls the operation of the entire inspection apparatus 4. The RAM 20 is a volatile storage medium capable of reading and writing information at high speed, and is used as a work area when the CPU 10 processes information. The ROM 30 is a read-only nonvolatile storage medium and stores a program such as firmware. The HDD 40 is a non-volatile storage medium that can read and write information, and stores an OS (Operating System), various control programs, application programs, and the like.

Ｉ／Ｆ５０は、バス９０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが検査装置４の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが検査装置４に情報を入力するためのユーザインタフェースである。   The I / F 50 connects and controls the bus 90 and various hardware and networks. The LCD 60 is a visual user interface for the user to check the state of the inspection apparatus 4. The operation unit 70 is a user interface such as a keyboard and a mouse for the user to input information to the inspection apparatus 4.

専用デバイス８０は、エンジンコントローラ２、プリントエンジン３及び検査装置４において、専用の機能を実現するためのハードウェアである。プリントエンジン３の場合、専用デバイス８０は、画像形成出力対象の用紙を搬送する搬送機構や、紙面上に画像形成出力を実行するプロッタ装置である。また、エンジンコントローラ２、検査装置４の場合は、高速に画像処理を行うための専用の演算装置である。このような演算装置は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成される。また、紙面上に出力された画像を読み取る読取装置も、専用デバイス８０によって実現される。   The dedicated device 80 is hardware for realizing a dedicated function in the engine controller 2, the print engine 3, and the inspection apparatus 4. In the case of the print engine 3, the dedicated device 80 is a transport mechanism that transports a sheet of image formation output target, or a plotter device that executes image formation output on a paper surface. Further, the engine controller 2 and the inspection device 4 are dedicated arithmetic devices for performing image processing at high speed. Such an arithmetic unit is configured as an ASIC (Application Specific Integrated Circuit), for example. A reading device that reads an image output on a paper surface is also realized by the dedicated device 80.

このようなハードウェア構成において、ＲＯＭ３０に格納されているプログラムや、ＨＤＤ４０若しくは図示しない光学ディスク等の記録媒体からＲＡＭ２０に読み出されたプログラムに従ってＣＰＵ１０が演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係るＤＦＥ１、エンジンコントローラ２、プリントエンジン３、検査装置４及びインタフェース端末５の機能を実現する機能ブロックが構成される。   In such a hardware configuration, the software control unit is configured by the CPU 10 performing calculations in accordance with a program stored in the ROM 30 or a program read to the RAM 20 from a recording medium such as the HDD 40 or an optical disk (not shown). The A functional block that realizes the functions of the DFE 1, the engine controller 2, the print engine 3, the inspection apparatus 4, and the interface terminal 5 according to the present embodiment is configured by a combination of the software control unit configured as described above and hardware. Is done.

図３は、本実施形態に係るＤＦＥ１、エンジンコントローラ２、プリントエンジン３及び検査装置４の機能構成を示すブロック図である。図３においては、データの送受信を実線で、用紙の流れを破線で示している。図３に示すように、本実施形態に係るＤＦＥ１は、ジョブ情報処理部１０１及びＲＩＰ処理部１０２を含む。また、エンジンコントローラ２は、データ取得部２０１、エンジン制御部２０２、ビットマップ送信部２０３を含む。また、プリントエンジン３は、印刷処理部３０１を含む。また、検査装置４は、読取装置４００、読取画像取得部４０１、マスター画像処理部４０２、検査制御部４０３及び比較検査部４０４を含む。   FIG. 3 is a block diagram illustrating functional configurations of the DFE 1, the engine controller 2, the print engine 3, and the inspection device 4 according to the present embodiment. In FIG. 3, data transmission / reception is indicated by a solid line, and the flow of paper is indicated by a broken line. As illustrated in FIG. 3, the DFE 1 according to the present embodiment includes a job information processing unit 101 and a RIP processing unit 102. The engine controller 2 includes a data acquisition unit 201, an engine control unit 202, and a bitmap transmission unit 203. The print engine 3 includes a print processing unit 301. The inspection device 4 includes a reading device 400, a read image acquisition unit 401, a master image processing unit 402, an inspection control unit 403, and a comparative inspection unit 404.

ジョブ情報処理部１０１は、ＤＦＥ１外部からネットワークを介して入力される印刷ジョブや、オペレータの操作によりＤＦＥ１内部に格納された画像データに基づいて生成される印刷ジョブに基づき、画像形成出力の実行を制御する。画像形成出力の実行に際して、ジョブ情報処理部１０１は、印刷ジョブに含まれる画像データに基づき、ＲＩＰ処理部１０２にビットマップデータを生成させる。   The job information processing unit 101 executes image formation output based on a print job input from outside the DFE 1 via a network or a print job generated based on image data stored in the DFE 1 by an operator's operation. Control. When executing the image formation output, the job information processing unit 101 causes the RIP processing unit 102 to generate bitmap data based on the image data included in the print job.

ＲＩＰ処理部１０２は、ジョブ情報処理部１０１の制御に従い、印刷ジョブに含まれる画像データに基づいてプリントエンジン３が画像形成出力を実行するためのビットマップデータを生成する。ビットマップデータは、画像形成出力するべき画像を構成する各画素の情報である。   The RIP processing unit 102 generates bitmap data for the print engine 3 to execute image formation output based on the image data included in the print job, under the control of the job information processing unit 101. Bitmap data is information of each pixel constituting an image to be imaged and output.

本実施形態に係るプリントエンジン３は、ＣＭＹＫ（Ｃｙａｎ，Ｍａｇｅｎｔａ，Ｙｅｌｌｏｗ，ｂｌａｃＫ）各色二値の画像に基づいて画像形成出力を実行する。これに対して、一般的に、印刷ジョブに含まれる画像のデータは、一画素が２５６階調等の多階調で表現された多値画像である。そのため、ＲＩＰ処理部１０２は、印刷ジョブに含まれる画像データを多値画像から少値画像に変換して、ＣＭＹＫ各色二値のビットマップデータを生成し、エンジンコントローラ２に送信する。   The print engine 3 according to the present embodiment executes image formation output based on binary images of CMYK (Cyan, Magenta, Yellow, blackK). On the other hand, generally, image data included in a print job is a multi-valued image in which one pixel is expressed by multi-gradation such as 256 gradations. Therefore, the RIP processing unit 102 converts the image data included in the print job from a multi-valued image to a small-valued image, generates CMYK binary data for each color, and transmits it to the engine controller 2.

データ取得部２０１は、ＤＦＥ１から入力されるビットマップデータを取得し、エンジン制御部２０２及びビットマップ送信部２０３夫々を動作させる。エンジン制御部２０２は、データ取得部２０１から転送されたビットマップデータに基づき、プリントエンジン３に画像形成出力を実行させる。ビットマップ送信部２０３は、データ取得部２０１が取得したビットマップデータを、マスター画像生成の為に検査装置４に送信する。   The data acquisition unit 201 acquires bitmap data input from the DFE 1 and operates the engine control unit 202 and the bitmap transmission unit 203, respectively. The engine control unit 202 causes the print engine 3 to execute image formation output based on the bitmap data transferred from the data acquisition unit 201. The bitmap transmission unit 203 transmits the bitmap data acquired by the data acquisition unit 201 to the inspection apparatus 4 for generating a master image.

印刷処理部３０１は、エンジンコントローラ２から入力されるビットマップデータを取得し、印刷用紙に対して画像形成出力を実行し、印刷済みの用紙を出力する画像形成部である。本実施形態に係る印刷処理部３０１は、電子写真方式の一般的な画像形成機構によって実現されるが、インクジェット方式等の他の画像形成機構を用いることも可能である。   The print processing unit 301 is an image forming unit that acquires bitmap data input from the engine controller 2, executes image formation output on printing paper, and outputs printed paper. The print processing unit 301 according to the present embodiment is realized by a general electrophotographic image forming mechanism, but other image forming mechanisms such as an ink jet method can also be used.

読取装置４００は、印刷処理部３０１によって印刷が実行されて出力された印刷用紙の紙面上に形成された画像を読み取り、読取画像を出力する画像読取部である。読取装置４００は、例えば印刷処理部３０１によって出力された印刷用紙の、検査装置４内部における搬送経路に設置されたラインスキャナであり、搬送される印刷用紙の紙面上を走査することによって紙面上に形成された画像を読み取る。   The reading device 400 is an image reading unit that reads an image formed on a sheet of printing paper output by printing performed by the print processing unit 301 and outputs a read image. The reading device 400 is, for example, a line scanner installed in a conveyance path inside the inspection device 4 for printing paper output by the print processing unit 301. The scanning device 400 scans the paper surface of the printing paper to be conveyed on the paper surface. Read the formed image.

読取装置４００によって生成された読取画像が検査装置４による検査の対象となる。読取画像は、画像形成出力によって出力された用紙の紙面を読み取って生成された画像であるため、出力結果を示す画像となる。読取画像取得部４０１は、印刷用紙の紙面が読取装置４００によって読み取られて生成された読取画像の情報を取得する。読取画像取得部４０１が取得した読取画像の情報は、比較検査のために比較検査部４０４に入力される。尚、比較検査部４０４への読取画像の入力は検査制御部４０３の制御によって実行される。その際、検査制御部４０３が読取画像を取得してから比較検査部４０４に入力する。   The read image generated by the reading device 400 is an inspection target by the inspection device 4. Since the read image is an image generated by reading the paper surface of the paper output by the image forming output, the read image is an image indicating the output result. The read image acquisition unit 401 acquires information of a read image generated by reading the paper surface of the printing paper by the reading device 400. The information of the read image acquired by the read image acquisition unit 401 is input to the comparison inspection unit 404 for comparison inspection. Note that the input of the read image to the comparison inspection unit 404 is executed under the control of the inspection control unit 403. At that time, the inspection control unit 403 obtains the read image and inputs it to the comparison inspection unit 404.

マスター画像処理部４０２は、上述したようにエンジンコントローラ２から入力されたビットマップデータを取得し、上記検査対象の画像と比較するための検査用画像であるマスター画像を生成する。即ち、マスター画像処理部４０２が、読取画像の検査を行うための検査用画像であるマスター画像を画像形成出力対象の画像に基づいて生成する検査用画像生成部として機能する。マスター画像処理部４０２によるマスター画像の生成処理については後に詳述する。   The master image processing unit 402 acquires the bitmap data input from the engine controller 2 as described above, and generates a master image that is an inspection image for comparison with the inspection target image. That is, the master image processing unit 402 functions as an inspection image generation unit that generates a master image, which is an inspection image for performing an inspection of a read image, based on an image that is an image formation output target. The master image generation processing by the master image processing unit 402 will be described in detail later.

検査制御部４０３は、検査装置４全体の動作を制御する制御部であり、検査装置４に含まれる各構成は検査制御部４０３の制御に従って動作する。比較検査部４０４は、読取画像取得部４０１から入力される読取画像とマスター画像処理部４０２が生成したマスター画像とを比較し、意図した通りの画像形成出力が実行されているか否かを判断する。比較検査部４０４は、膨大な計算量を迅速に処理するために上述したＡＳＩＣによって構成される。   The inspection control unit 403 is a control unit that controls the operation of the entire inspection apparatus 4, and each component included in the inspection apparatus 4 operates according to the control of the inspection control unit 403. The comparison inspection unit 404 compares the read image input from the read image acquisition unit 401 with the master image generated by the master image processing unit 402, and determines whether or not the intended image formation output is being executed. . The comparison inspection unit 404 is configured by the ASIC described above in order to quickly process a huge amount of calculation.

比較検査部４０４においては、上述したようにＲＧＢ各色８ｂｉｔで表現された２００ｄｐｉの読取画像及びマスター画像を対応する画素毎に比較し、夫々の画素毎に上述したＲＧＢ各色８ｂｉｔの画素値の差分値を算出する。そのようにして算出した差分値の絶対値（以降、単に「差分」とする）に基づき、検査制御部４０３は、読取画像の欠陥を判定する検査を行う。   In the comparison inspection unit 404, as described above, the 200 dpi read image and the master image expressed in 8 bits for each RGB color are compared for each corresponding pixel, and the difference value between the 8 bit pixel values for each RGB color described above for each pixel. Is calculated. Based on the absolute value of the difference value thus calculated (hereinafter simply referred to as “difference”), the inspection control unit 403 performs an inspection for determining a defect in the read image.

尚、読取画像とマスター画像との比較に際して、比較検査部４０４は、図４に示すように、所定範囲毎に分割されたマスター画像を、分割された範囲に対応する読取画像に重ね合わせて各画素の画素値、即ち濃度の差分算出を行う。このような処理は、検査制御部４０３が、重ね合わせる範囲の画像をマスター画像及び読取画像夫々から取得し、比較検査部４０４に入力することによって実現される。   When comparing the read image and the master image, the comparison inspection unit 404 superimposes the master image divided for each predetermined range on the read image corresponding to the divided range, as shown in FIG. The pixel value of the pixel, that is, the density difference is calculated. Such processing is realized by the inspection control unit 403 acquiring images in the overlapping range from the master image and the read image and inputting them to the comparison inspection unit 404.

更に、検査制御部４０３は、読取画像から取得する画像の範囲を縦横にずらしながら、算出される差分値の合計値が最も小さくなる位置を正確な重ね合わせの位置として決定するとともに、その際に算出された各画素の差分値を比較結果として採用する。そのため、比較検査部４０４は、各画素の差分値と共に、重ね合わせの位置として決定した際の縦横のずれ量を出力することが可能である。   Further, the inspection control unit 403 determines the position where the total value of the calculated difference values is the smallest as an accurate overlay position while shifting the range of the image acquired from the read image vertically and horizontally. The calculated difference value of each pixel is adopted as a comparison result. Therefore, the comparison inspection unit 404 can output the vertical and horizontal shift amounts when determined as the overlay position together with the difference value of each pixel.

図４に示すように方眼上に区切られている夫々のマスが、上述した各画素の差分値を合計する所定範囲である。また、図４に示す夫々の分割範囲のサイズは、例えば、上述したようにＡＳＩＣによって構成される比較検査部４０４が一度に画素値の比較を行うことが可能な範囲に基づいて決定される。   As shown in FIG. 4, each square divided on the grid is a predetermined range in which the difference values of the pixels described above are summed. In addition, the size of each division range illustrated in FIG. 4 is determined based on a range in which the comparison / inspection unit 404 configured by the ASIC can compare pixel values at a time as described above, for example.

このような処理により、読取画像とマスター画像とが位置合わせされた上で差分値が算出される。このように算出された差分値が所定の閾値と比較されることにより、画像の欠陥が判定される。また、例えば、読取画像全体とマスター画像全体とで縮尺に差異があったとしても、図４に示すように範囲毎に分割して位置合わせを行うことにより、縮尺の際による影響を低減することが可能となる。   By such processing, the difference value is calculated after the read image and the master image are aligned. By comparing the difference value calculated in this way with a predetermined threshold value, a defect in the image is determined. Further, for example, even if there is a difference in scale between the entire read image and the entire master image, the influence of the scale is reduced by dividing and positioning for each range as shown in FIG. Is possible.

また、図４に示すように分割された夫々の範囲において、隣接する範囲の位置ずれ量は比較的近いことが予測される。そこで、分割された夫々の範囲についての比較検査を行う際、隣接する領域の比較検査によって決定された位置ずれ量を中心として上述した縦横にずらしながらの計算を行う。これにより、縦横にずらしながら計算を行う回数を少なくしても、正確な重ね合わせ位置による計算が実行される可能性が高く、全体として計算量を減らすことができる。   Further, in each of the divided ranges as shown in FIG. 4, it is predicted that the amount of positional deviation between adjacent ranges is relatively close. Therefore, when performing the comparative inspection for each of the divided ranges, the above-described calculation is performed while shifting in the vertical and horizontal directions with the positional deviation amount determined by the comparative inspection of the adjacent regions as the center. As a result, even if the number of calculations is reduced while shifting vertically and horizontally, there is a high possibility that the calculation based on the correct overlay position will be executed, and the calculation amount as a whole can be reduced.

また、本実施形態に係る検査制御部４０３は、読取画像及びマスター画像に基づいて、上述した比較検査部４０４の制御や欠陥を判定する検査を行うか否かを事前に判定する。この事前判定の処理が本実施形態の要旨である。事前判定の処理の詳細は後述する。   Further, the inspection control unit 403 according to the present embodiment determines in advance whether or not to perform the above-described control of the comparative inspection unit 404 and the inspection for determining defects based on the read image and the master image. This pre-determination process is the gist of the present embodiment. Details of the pre-determination process will be described later.

次に、プリントエンジン３、検査装置４及びスタッカ６の機械的な構成及び用紙の搬送経路について、図５を参照して説明する。図５に示すように、本実施形態に係るプリントエンジン３に含まれる印刷処理部３０１は、無端状移動手段である搬送ベルト１１に沿って各色の感光体ドラム１２Ｙ、１２Ｍ、１２Ｃ、１２Ｋが並べられた構成を備えるものであり、所謂タンデムタイプといわれるものである。すなわち、給紙トレイ１３から給紙される用紙等に転写するための中間転写画像が形成される中間転写ベルトである搬送ベルト１１に沿って、この搬送ベルト１１の搬送方向の上流側から順に、感光体ドラム１２Ｙ、１２Ｍ、１２Ｃ、１２Ｋが配列されている。なお、以降、各色の感光体ドラム１２Ｙ、１２Ｍ、１２Ｃ、１２Ｋを総じて感光体ドラム１２とする。   Next, the mechanical configuration of the print engine 3, the inspection device 4, and the stacker 6 and the sheet conveyance path will be described with reference to FIG. As shown in FIG. 5, in the print processing unit 301 included in the print engine 3 according to the present embodiment, the photosensitive drums 12Y, 12M, 12C, and 12K of each color are arranged along the conveyance belt 11 that is an endless moving unit. This is a so-called tandem type. That is, along the transport belt 11 that is an intermediate transfer belt on which an intermediate transfer image to be transferred to a sheet fed from the paper feed tray 13 is formed, in order from the upstream side in the transport direction of the transport belt 11. Photosensitive drums 12Y, 12M, 12C, and 12K are arranged. Hereinafter, the photosensitive drums 12Y, 12M, 12C, and 12K of the respective colors are collectively referred to as the photosensitive drum 12.

各色の感光体ドラム１２の表面においてトナーにより現像された各色の画像が、搬送ベルト１１に重ね合わせられて転写されることによりフルカラーの画像が形成される。そのようにして搬送ベルト１１上に形成されたフルカラー画像は、図中に破線で示す用紙の搬送経路と最も接近する位置において、転写ローラ１４の機能により、経路上を搬送されてきた用紙の紙面上に転写される。   Each color image developed with toner on the surface of the photosensitive drum 12 for each color is superimposed on the conveyor belt 11 and transferred to form a full color image. The full-color image formed on the transport belt 11 in this way has a sheet surface of the paper transported on the path by the function of the transfer roller 14 at a position closest to the paper transport path indicated by a broken line in the drawing. Transcribed above.

紙面上に画像が形成された用紙は更に搬送され、定着ローラ１５にて画像を定着された後、検査装置４に搬送される。また、両面印刷の場合、片面上に画像が形成されて定着された用紙は反転パス１６に搬送され、反転された上で再度転写ローラ１４の転写位置に搬送される。   The paper on which the image is formed on the paper surface is further conveyed, the image is fixed by the fixing roller 15, and then conveyed to the inspection device 4. In the case of double-sided printing, the sheet on which an image is formed and fixed on one side is conveyed to the reversing path 16 and is reversed and conveyed to the transfer position of the transfer roller 14 again.

読取装置４００は、検査装置４内部における用紙の搬送経路において、印刷処理部３０１から搬送された用紙の夫々の面を読み取り、読取画像を生成して検査装置４内部の情報処理装置によって構成される読取画像取得部４０１に出力する。また、読取装置４００によって紙面が読み取られた用紙は検査装置４内部を更に搬送され、スタッカ６に搬送され、排紙トレイ６０１に排出される。尚、図５においては、検査装置４における用紙の搬送経路において、用紙の片面側にのみ読取装置４００が設けられている場合を例としているが、用紙の両面の検査を可能とするため、用紙の両面側に夫々読取装置４００を配置しても良い。   The reading device 400 is configured by an information processing device inside the inspection device 4 by reading each surface of the paper conveyed from the print processing unit 301 in the paper conveyance path inside the inspection device 4 and generating a read image. The image is output to the read image acquisition unit 401. Further, the sheet whose paper surface has been read by the reading device 400 is further conveyed inside the inspection device 4, conveyed to the stacker 6, and discharged to the paper discharge tray 601. 5 shows an example in which the reading device 400 is provided only on one side of the paper in the paper transport path in the inspection device 4, but in order to enable inspection of both sides of the paper, The reading device 400 may be arranged on each of both sides.

次に、本実施形態に係るマスター画像処理部４０２の機能構成について説明する。図６は、マスター画像処理部４０２内部の構成を示すブロック図である。図６に示すように、マスター画像処理部４０２は、少値多値変換処理部４２１、解像度変換処理部４２２、色変換処理部４２３及び画像出力処理部４２４を含む。尚、本実施形態に係るマスター画像処理部４０２は、図２において説明した専用デバイス８０、即ち、ＡＳＩＣとして構成されたハードウェアが、ソフトウェアの制御に従って動作することにより実現される。   Next, a functional configuration of the master image processing unit 402 according to the present embodiment will be described. FIG. 6 is a block diagram illustrating an internal configuration of the master image processing unit 402. As illustrated in FIG. 6, the master image processing unit 402 includes a small-value / multi-value conversion processing unit 421, a resolution conversion processing unit 422, a color conversion processing unit 423, and an image output processing unit 424. Note that the master image processing unit 402 according to the present embodiment is realized by operating the dedicated device 80 described in FIG. 2, that is, hardware configured as an ASIC, according to software control.

少値多値変換処理部４２１は、有色／無色で表現された二値画像に対して少値／多値変換処理を実行して多値画像を生成する。本実施形態に係るビットマップデータは、プリントエンジン３に入力するための情報であり、プリントエンジンはＣＭＹＫ（Ｃｙａｎ，Ｍａｇｅｎｔａ，Ｙｅｌｌｏｗ，ｂｌａｃＫ）各色二値の画像に基づいて画像形成出力を実行する。これに対して検査対象の画像である読取画像は、基本三原色であるＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）各色多階調の多値画像であるため、少値多値変換処理部４２１により先ず二値画像が多値画像に変換される。多値画像としては、例えばＣＭＹＫ各８ｂｉｔで表現された画像を用いることができる。   The low-value / multi-value conversion processing unit 421 generates a multi-value image by performing low-value / multi-value conversion processing on a binary image expressed in colored / colorless. The bitmap data according to the present embodiment is information to be input to the print engine 3, and the print engine executes image formation output based on CMYK (Cyan, Magenta, Yellow, blackK) color binary images. On the other hand, the read image, which is the image to be inspected, is a multi-valued image of RGB (Red, Green, Blue), which is the basic three primary colors, and is a multi-valued image. The image is converted into a multi-valued image. As the multivalued image, for example, an image expressed by 8 bits for each of CMYK can be used.

少値多値変換処理部４２１は、少値／多値変換処理として、８ｂｉｔ拡張処理、平滑化処理を行う。８ｂｉｔ拡張処理は、０／１の１ｂｉｔであるデータを８ｂｉｔ化し、「０」は「０」のまま、「１」は「２５５」に変換する処理である。平滑処理は、８ｂｉｔ化されたデータに対して平滑化フィルタを適用し、画像を平滑化する処理である。   The small value / multivalue conversion processing unit 421 performs an 8-bit extension process and a smoothing process as the small value / multivalue conversion process. The 8-bit extension process is a process of converting 0/1 data, which is 1 bit, into 8 bits, converting “0” to “0” and converting “1” to “255”. The smoothing process is a process of smoothing an image by applying a smoothing filter to 8-bit data.

尚、本実施形態においては、プリントエンジン３がＣＭＹＫ各色二値の画像に基づいて画像形成出力を実行する場合を例とし、マスター画像処理部４０２に少値多値変換処理部４２１が含まれる場合を例とするが、これは一例である。即ち、プリントエンジン３が多値画像に基づいて画像形成出力を実行する場合は、少値多値変換処理部４２１は省略可能である。   In this embodiment, the print engine 3 executes image formation output based on CMYK binary images, and the master image processing unit 402 includes a low-value multi-value conversion processing unit 421. Is an example. That is, when the print engine 3 executes image formation output based on a multi-value image, the low-value multi-value conversion processing unit 421 can be omitted.

また、プリントエンジン３が１ｂｉｔではなく２ｂｉｔ等の少値の画像に基づいて画像形成出力を行う機能を有する場合もあり得る。その場合、８ｂｉｔ拡張処理の機能を変更することにより対応することができる。即ち、２ｂｉｔの場合、階調値は０、１、２、３の４値である。従って、８ｂｉｔ拡張に際しては、「０」は「０」、「１」は「８５」、「２」は「１７０」、「３」は「２５５」に変換する。   In addition, the print engine 3 may have a function of performing image formation output based on a low-value image such as 2 bits instead of 1 bit. In this case, it can be dealt with by changing the function of the 8-bit extension processing. That is, in the case of 2 bits, the gradation value is four values of 0, 1, 2, and 3. Therefore, in the case of 8-bit expansion, “0” is converted to “0”, “1” is converted to “85”, “2” is converted to “170”, and “3” is converted to “255”.

解像度変換処理部４２２は、少値多値変換処理部４２１によって生成された多値画像の解像度を、検査対象の画像である読取画像の解像度に合わせるように解像度変換を行う。本実施形態においては、読取装置４００は２００ｄｐｉの読取画像を生成するため、解像度変換処理部４２２は、少値多値変換処理部４２１によって生成された多値画像の解像度を２００ｄｐｉに変換する。   The resolution conversion processing unit 422 performs resolution conversion so that the resolution of the multi-value image generated by the small-value multi-value conversion processing unit 421 matches the resolution of the read image that is the image to be inspected. In the present embodiment, since the reading device 400 generates a 200 dpi read image, the resolution conversion processing unit 422 converts the resolution of the multi-valued image generated by the small-value multi-value conversion processing unit 421 to 200 dpi.

色変換処理部４２３は、解像度変換処理部４２２によって解像度が変換された画像を取得して階調変換及び色表現形式の変換を行う。階調変換処理は、印刷処理部３０１によって紙面上に形成される画像の色調及び読取装置４００によって読み取られて生成される画像の色調に、マスター画像の色調を合わせるための色調の変換処理である。   The color conversion processing unit 423 acquires an image whose resolution has been converted by the resolution conversion processing unit 422, and performs gradation conversion and color expression format conversion. The tone conversion processing is color tone conversion processing for matching the color tone of the master image with the color tone of the image formed on the paper surface by the print processing unit 301 and the color tone of the image read and generated by the reading device 400. .

色表現形式の変換処理は、ＣＭＹＫ形式の画像をＲＧＢ形式の画像に変換する処理である。上述したように、本実施形態に係る読取画像はＲＧＢ形式の画像であるため、色変換処理部４２３は、階調変換処理のされたＣＭＹＫ形式の画像をＲＧＢ形式に変換する。これにより、画素毎にＲＧＢ各色８ｂｉｔ（合計２４ｂｉｔ）で表現された２００ｄｐｉの多値画像が生成される。   The color representation format conversion process is a process for converting an image in the CMYK format into an image in the RGB format. As described above, since the read image according to this embodiment is an RGB format image, the color conversion processing unit 423 converts the CMYK format image that has been subjected to the gradation conversion processing into an RGB format. As a result, a 200 dpi multi-valued image expressed by 8 bits (total 24 bits) of each RGB color is generated for each pixel.

画像出力処理部４２４は、色変換処理部４２３までの処理によって生成されたマスター画像を出力する。これにより、検査制御部４０３が、マスター画像処理部４０２からマスター画像を取得する。   The image output processing unit 424 outputs the master image generated by the processing up to the color conversion processing unit 423. As a result, the inspection control unit 403 acquires a master image from the master image processing unit 402.

次に、本実施形態に係る検査制御部４０３の機能構成について説明する。図７は、本実施形態に係る検査制御部４０３の機能構成を例示するブロック図である。また、図８は、本実施形態に係る検査制御部４０３による読取画像の欠陥検査の動作を例示するフローチャートである。図７に示すように、本実施形態に係る検査制御部４０３は、情報入力部４３１、事前判定部４３２、欠陥検査部４３３及びコントローラ通信部４３４を含む。以下、本実施形態に係る検査制御部４０３による欠陥検査の動作について、図８を参照して説明する。   Next, a functional configuration of the inspection control unit 403 according to the present embodiment will be described. FIG. 7 is a block diagram illustrating a functional configuration of the inspection control unit 403 according to this embodiment. FIG. 8 is a flowchart illustrating the operation of the defect inspection of the read image by the inspection control unit 403 according to this embodiment. As shown in FIG. 7, the inspection control unit 403 according to the present embodiment includes an information input unit 431, a prior determination unit 432, a defect inspection unit 433, and a controller communication unit 434. Hereinafter, the operation of defect inspection by the inspection control unit 403 according to the present embodiment will be described with reference to FIG.

本実施形態に係る検査制御部４０３においては、図８に示すように、まず情報入力部４３１が、マスター画像処理部４０２からマスター画像を取得し（Ｓ８００）、読取画像取得部４０１から読取画像を取得する（Ｓ８０１）。なお、Ｓ８００の処理とＳ８０１の処理とは前後関係に制約はないため、逆の順序で実行されても良いし並列して実行されてもよい。   In the inspection control unit 403 according to the present embodiment, as illustrated in FIG. 8, first, the information input unit 431 acquires a master image from the master image processing unit 402 (S800), and acquires a read image from the read image acquisition unit 401. Obtain (S801). Note that the process of S800 and the process of S801 are not limited in context, and may be executed in the reverse order or may be executed in parallel.

マスター画像及び読取画像を取得した情報入力部４３１は、図４において説明したように、マスター画像及び読取画像から夫々所定範囲の画像を抽出したブロック画像を取得して、事前判定部４３２に対して出力する（Ｓ８０３）。なお、本実施形態においては、情報入力部４３１は、左上からラスター順にブロック画像を出力する場合を例として説明するが、これは一例であり、中央から渦巻状に外側に向かって順にブロック画像を出力してもよい。また、図８における以降の処理においては、マスター画像のブロック画像を単に「マスター画像」と記載し、読取画像のブロック画像を単に「読取画像」と記載する場合がある。   The information input unit 431 that has acquired the master image and the read image acquires block images obtained by extracting images in a predetermined range from the master image and the read image, as described with reference to FIG. It outputs (S803). In the present embodiment, the information input unit 431 is described as an example in which the block images are output in raster order from the upper left, but this is an example, and the block images are sequentially spiraled from the center toward the outside. It may be output. In the subsequent processing in FIG. 8, the block image of the master image may be simply described as “master image”, and the block image of the read image may be simply described as “read image”.

情報入力部４３１からマスター画像及び読取画像が入力された事前判定部４３２は、入力されたマスター画像及び読取画像に基づいて、読取画像の欠陥検査を行うか否かを事前に判定する。具体的には、事前判定部４３２は、まず、入力されたマスター画像及び読取画像に基づいて、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）値を算出する（Ｓ８０４）。   The prior determination unit 432 to which the master image and the read image are input from the information input unit 431 determines in advance whether or not to perform a defect inspection of the read image based on the input master image and the read image. Specifically, the prior determination unit 432 first calculates an SSIM (Structural SIMality) value based on the input master image and read image (S804).

ＳＳＩＭ値は、２つの画像の明るさの類似度、コントラストの類似度及び構造の類似度を用いて算出される２つの画像の類似度である。具体的には、画像ｘ、ｙのＳＳＩＭ値は、以下の式（１）により算出される。
The SSIM value is the similarity between two images calculated using the brightness similarity, contrast similarity, and structure similarity between the two images. Specifically, the SSIM values of the images x and y are calculated by the following equation (1).

μ_ｘは、画像ｘの画素の輝度平均値であり、μ_ｙは、画像ｙの画素の輝度平均値であり、σ_ｘ ^２は、画像ｘの画素の輝度分散であり、σ_ｙ ^２は、画像ｙの画素の輝度分散であり、σ_ｘｙは、画像ｘと画像ｙとの共分散である。また、Ｃ_１＝（Ｋ_１Ｌ）^２であり、Ｌは、８ビットの画像の場合２５５であり、Ｋ_１は１より十分小さい定数（例えば、０．０１）である。また、Ｃ_２＝（Ｋ_２Ｌ）^２であり、Ｌは、８ビットの画像の場合２５５であり、Ｋ_２は１より十分小さい定数（例えば、０．０３）である。 μ _x is the average luminance value of the pixels of the image x, μ _y is the average luminance value of the pixels of the image y, σ _x ² is the luminance variance of the pixels of the image x, and σ _y ² is The luminance dispersion of the pixels of the image y, and σ _xy is the covariance between the image x and the image y. Also, C ₁ = (K ₁ L) ² , L is 255 for an 8-bit image, and K ₁ is a constant sufficiently smaller than ₁ (for example, 0.01). Also, C ₂ = (K ₂ L) ² , L is 255 for an 8-bit image, and K ₂ is a constant sufficiently smaller than 1 (for example, 0.03).

ＳＳＩＭ値は、０より大きく１以下の値であり、ＳＳＩＭ値が１の場合、２つの画像は同一であり、値が大きいほど２つの画像の類似度は高くなる。本実施形態に係る事前判定部４３２は、例えば、画像ｘをマスター画像のブロック画像とし、画像ｙを読取画像のブロック画像として、ＳＳＩＭ値を算出する。   The SSIM value is greater than 0 and less than or equal to 1, and when the SSIM value is 1, the two images are the same, and the larger the value, the higher the similarity between the two images. For example, the prior determination unit 432 according to the present embodiment calculates an SSIM value by using the image x as a block image of a master image and the image y as a block image of a read image.

次に、事前判定部４３２は、算出したＳＳＩＭ値が予め定められた閾値Ｔ以下であるか否かを判定する（Ｓ８０５）。ＳＳＩＭ値が閾値Ｔ以下である場合（Ｓ８０５／ＹＥＳ）、事前判定部４３２は、マスター画像と読取画像との類似度が比較的低いので、読取画像の欠陥検査を行うと判定し、情報入力部４３１に対して検査を行う旨を示す欠陥検査実行通知を出力する（Ｓ８０６）。事前判定部４３２から欠陥検査実行通知を受けた情報入力部４３１は、事前判定部４３２により事前判定された両ブロック画像を比較検査部４０４に入力することにより、比較検査部４０４に画像の比較検査を実行させる（Ｓ８０７）。   Next, the prior determination unit 432 determines whether or not the calculated SSIM value is equal to or less than a predetermined threshold T (S805). When the SSIM value is equal to or less than the threshold value T (S805 / YES), the prior determination unit 432 determines that the defect inspection of the read image is performed because the similarity between the master image and the read image is relatively low, and the information input unit A defect inspection execution notification indicating that inspection is to be performed on 431 is output (S806). The information input unit 431 that has received the defect inspection execution notification from the predetermination unit 432 inputs both block images predetermined by the predetermination unit 432 to the comparison inspection unit 404, thereby causing the comparison inspection unit 404 to perform comparative inspection of the image. Is executed (S807).

Ｓ８０７の処理により、読取画像を構成する各画素とマスター画像を構成する各画素との差分値を示す差分画像が生成される。欠陥検査部４３３は、生成された差分画像を取得し、取得した差分画像に基づいて欠陥検査を行う（Ｓ８０８）。具体的には、Ｓ８０８において、欠陥検査部４３３は、取得した差分画像の各画素の画素値の合計値（あるいは平均値）（以降、「差分合計値」とする）が閾値以上である場合、比較検査部４０４に入力された範囲の読取画像に欠陥ありと判定する。   By the processing in S807, a difference image indicating a difference value between each pixel constituting the read image and each pixel constituting the master image is generated. The defect inspection unit 433 acquires the generated difference image, and performs defect inspection based on the acquired difference image (S808). Specifically, in S808, the defect inspection unit 433 determines that the total value (or average value) of each pixel of the acquired difference image (hereinafter referred to as “difference total value”) is equal to or greater than a threshold value. It is determined that the read image in the range input to the comparison inspection unit 404 is defective.

さらに、欠陥検査部４３３は、読取画像に欠陥ありと判定した場合、欠陥の種類を特定する。具体的には、例えば、欠陥検査部４３３は、例えば、欠陥ありと判定された範囲のブロック画像に対してラベリング処理を行う。ラベリング処理とは、入力画像において同じ色や同じ領域等が連続する画素（連結成分）に同じ番号（ラベル）を割り振る処理である。   Furthermore, when the defect inspection unit 433 determines that the read image has a defect, the defect inspection unit 433 identifies the type of defect. Specifically, for example, the defect inspection unit 433 performs, for example, a labeling process on a block image in a range determined to have a defect. The labeling process is a process of assigning the same number (label) to pixels (connected components) in which the same color, the same region, or the like continues in the input image.

そして、欠陥検査部４３３は、ラベリング処理された連結面積や長さ等の特徴量から欠陥の種類（黒スジ、かすれ、汚れ等）を特定する。例えば、欠陥の種類ごとに特徴量が予め定められており、欠陥検査部４３３は、ラベリング処理された連結成分の特徴量と最も近い特徴量に対して定められている欠陥の種類を、その連結成分の欠陥の種類として特定する。   Then, the defect inspection unit 433 identifies the type of defect (black stripe, blur, dirt, etc.) from the feature quantity such as the connected area and length subjected to the labeling process. For example, the feature amount is determined in advance for each defect type, and the defect inspection unit 433 uses the defect type determined for the feature amount closest to the feature amount of the connected component subjected to the labeling process. Identified as the type of component defect.

なお、本実施形態において、欠陥検査部４３３は、マスター画像と読取画像との差分に基づいて欠陥の有無を判定し、欠陥ありと判定した場合に、ラベリング処理により欠陥の種類を特定する場合を例として説明した。しかしながら、これは一例であり、欠陥検査はこのような処理に限らない。例えば、欠陥検査部４３３は、マスター画像のブロック画像の輝度の標準偏差を算出し、ブロック画像の領域種類（紙白領域、絵柄・肌領域、エッジ領域等）を判定する。そして、欠陥検査部４３３は、マスター画像と読取画像との差分が、判定された領域種類に応じて設定される閾値以上である場合に、欠陥種類を判定する。   In the present embodiment, the defect inspection unit 433 determines the presence / absence of a defect based on the difference between the master image and the read image, and specifies the type of defect by the labeling process when it is determined that there is a defect. Described as an example. However, this is an example, and the defect inspection is not limited to such processing. For example, the defect inspection unit 433 calculates the standard deviation of the brightness of the block image of the master image, and determines the area type (paper white area, pattern / skin area, edge area, etc.) of the block image. Then, the defect inspection unit 433 determines the defect type when the difference between the master image and the read image is equal to or greater than a threshold set according to the determined region type.

また、コントローラ通信部４３４は、欠陥検査部４３３による判定結果に基づいて再印刷要求等のエンジン制御を実行する（Ｓ８０９）。   In addition, the controller communication unit 434 executes engine control such as a reprint request based on the determination result by the defect inspection unit 433 (S809).

一方、ＳＳＩＭ値が閾値Ｔよりも大きい場合（Ｓ８０５／ＮＯ）、事前判定部４３２は、マスター画像と読取画像との類似度が比較的高いので、上述したＳ８０６〜Ｓ８０９の欠陥検査のための処理をスキップする。そして、情報入力部４３１は、取得した読取画像の全ブロック画像に対して検査が完了したか否かを判定する（Ｓ８１０）。   On the other hand, when the SSIM value is larger than the threshold value T (S805 / NO), since the similarity between the master image and the read image is relatively high, the prior determination unit 432 performs the above-described processing for defect inspection in S806 to S809. To skip. Then, the information input unit 431 determines whether or not the inspection has been completed for all the block images of the acquired read image (S810).

全ブロック画像に対して検査が完了していない場合（Ｓ８１０／ＮＯ）、情報入力部４３１は、検査が完了していないブロック画像を事前判定部４３２に対して出力する。そして、Ｓ８０３以降の処理が繰り返される。一方、全ブロック画像に対して検査が完了した場合（Ｓ８１０／ＹＥＳ）、本実施形態に係る欠陥検査動作が完了する。   When the inspection has not been completed for all the block images (S810 / NO), the information input unit 431 outputs the block image for which the inspection has not been completed to the prior determination unit 432. And the process after S803 is repeated. On the other hand, when the inspection is completed for all the block images (S810 / YES), the defect inspection operation according to the present embodiment is completed.

このような処理により、マスター画像と読取画像との類似度が所定の閾値よりも高い場合は、読取画像に欠陥が発生していないと判定されて欠陥検査が行われないので、画像検査装置（検査装置４）における検査時間を短縮することができる。   If the similarity between the master image and the read image is higher than a predetermined threshold by such processing, it is determined that no defect has occurred in the read image, and defect inspection is not performed. The inspection time in the inspection device 4) can be shortened.

また、以下の理由から、欠陥検査を行うか否かを事前に判定するためにＳＳＩＭ値を算出する必要があるとしても、すべてのブロック画像に対して欠陥検査を行うよりも事前判定を行うほうが、処理時間が短くなり、検査時間を短縮することができる。   For the following reasons, even if it is necessary to calculate the SSIM value in order to determine in advance whether or not to perform defect inspection, it is better to perform prior determination than performing defect inspection on all block images. The processing time is shortened and the inspection time can be shortened.

欠陥検査においては、ラベリング処理により欠陥の種類を特定する処理や、ブロックごとに平坦部、エッジ部等の領域種類を判定し、領域種類ごとにマスター画像と読取画像との差分に基づき欠陥の種類（汚れ、異常孤立点、スジ等）を特定する処理が行われる。一方、事前判定に用いられるＳＳＩＭ値は、マスター画像及び読取画像それぞれの輝度平均値及び輝度分散、マスター画像と読取画像との共分散の５つのパラメータから算出できる。そのため、欠陥検査の計算量よりも事前判定の計算量のほうがはるかに少なく、欠陥検査の処理時間よりも事前判定の処理時間ほうがはるかに短い。   In defect inspection, the type of defect is identified by the labeling process, the type of area such as flat and edge is determined for each block, and the type of defect is determined based on the difference between the master image and the read image for each type of area. Processing for specifying (dirt, abnormal isolated point, streak, etc.) is performed. On the other hand, the SSIM value used for the pre-determination can be calculated from the five parameters of the luminance average value and luminance variance of the master image and the read image, and the covariance of the master image and the read image. Therefore, the amount of pre-determination is much less than the amount of defect inspection, and the time of pre-determination is much shorter than the processing time of defect inspection.

ここで、仮にすべてのブロック画像のうちのほとんどが事前判定だけでなく欠陥検査を必要とする場合、欠陥検査のみを行う場合よりも事前判定を行う分、処理時間が長くなる。しかしながら、実際には、すべてのブロック画像のうち、欠陥検査を必要とするブロック画像の割合は極めて小さい（例えば、５％未満）ことが多い。   Here, if most of all the block images require not only preliminary determination but also defect inspection, the processing time becomes longer by performing the preliminary determination than when performing only defect inspection. However, in practice, the ratio of block images that require defect inspection among all the block images is often extremely small (for example, less than 5%).

例えば、すべてのブロックに対する事前判定の総処理時間をＳ１とし、すべてのブロックに対する欠陥検査の総処理時間をＳ２とすると、欠陥検査を必要とするブロック画像の割合が全体の５％である場合の総処理時間Ｓは、次のようになる。
Ｓ＝０．０５×（Ｓ１＋Ｓ２）＋０．９５×Ｓ１＝Ｓ１＋０．０５×Ｓ２ For example, when the total processing time for pre-determination for all blocks is S1, and the total processing time for defect inspection for all blocks is S2, the ratio of block images that require defect inspection is 5% of the total. The total processing time S is as follows.
S = 0.05 × (S1 + S2) + 0.95 × S1 = S1 + 0.05 × S2

一方、事前判定を行うことなくすべてのブロックに対して欠陥検査を行う場合の総処理時間Ｓ´は、次のようになる。
Ｓ´＝Ｓ２ On the other hand, the total processing time S ′ in the case where defect inspection is performed on all blocks without performing prior determination is as follows.
S '= S2

上述したように、事前判定の処理時間は欠陥検査の処理時間よりもはるかに短いことから、次の関係が成立する。
Ｓ１＋０．０５×Ｓ２＜＜Ｓ２
すなわち、Ｓ＜＜Ｓ´ As described above, since the processing time for the prior determination is much shorter than the processing time for the defect inspection, the following relationship is established.
S1 + 0.05 × S2 << S2
That is, S << S '

このことから、上述したように、欠陥検査を行うか否かを事前に判定するためにＳＳＩＭ値を算出する必要があるとしても、すべてのブロック画像に対して欠陥検査を行うよりも事前判定を行うほうが、処理時間が短くなるので、検査時間を短縮することができる。   Therefore, as described above, even if it is necessary to calculate the SSIM value in order to determine in advance whether or not to perform defect inspection, it is possible to perform prior determination rather than performing defect inspection on all block images. Since the processing time is shortened, the inspection time can be shortened.

また、ＳＳＩＭ値は、ユーザが目で見て２つの画像を似ていると感じる度合い（以降、「主観の類似度」とする）と相関が高いことが知られている。そのため、ＳＳＩＭ値が所定の閾値よりも高い場合は、主観の類似度も高いので、ユーザが読取画像に欠陥があると認識する可能性が低く、欠陥検査をスキップしても問題のない場合が多い。このことから、本実施形態によれば、検査装置４における検査精度を担保しつつ、検査時間を短縮することができる。   Further, it is known that the SSIM value has a high correlation with the degree (hereinafter referred to as “subjective similarity”) in which the user feels that two images are similar to each other visually. Therefore, when the SSIM value is higher than the predetermined threshold, the subjective similarity is also high, so that the user is unlikely to recognize that the read image is defective, and there is no problem even if the defect inspection is skipped. Many. Therefore, according to the present embodiment, the inspection time can be shortened while ensuring the inspection accuracy in the inspection device 4.

なお、上記実施形態において、欠陥検査部４３３は、ラベリング処理により欠陥種類を特定する場合を例として説明したが、これは一例であり、ブロック画像の画素のアスペクト比や画素の集まり度合いに基づいて欠陥種類を特定してもよい。また、欠陥検査において欠陥の種類を特定することは必須ではなく、欠陥の有無を判定するだけであってもよい。   In the above embodiment, the defect inspecting unit 433 has been described as an example in which the defect type is specified by the labeling process. However, this is an example, and the defect inspecting unit 433 is based on the pixel aspect ratio of the block image and the pixel collection degree. The defect type may be specified. Further, it is not essential to specify the type of defect in the defect inspection, and it may be only necessary to determine the presence or absence of a defect.

また、上記実施形態において、事前判定部４３２は、ＳＳＩＭ値を用いて欠陥検査を行うか否かを判定する場合を例として説明した。その他、事前判定部４３２は、ＵＱＩ値（Ｕｎｉｖｅｒｓａｌ Ｑｕａｌｉｔｙ Ｉｎｄｅｘ）を用いて欠陥検査を行うか否かを判定してもよい。ＵＱＩ値は、ＳＳＩＭ値を算出する上記式（１）のＣ_１及びＣ_２に用いられる定数であるＫ_１及びＫ_２を０とした式（１）により算出される。ＵＱＩ値の場合、Ｃ_１及びＣ_２が０になり、ＳＳＩＭ値よりもパラメータの数を減らすことができるが、主観の類似度との相関がＳＳＩＭ値の場合よりも低くなる傾向にある。 Moreover, in the said embodiment, the prior determination part 432 demonstrated as an example the case where it was determined whether a defect inspection is performed using a SSIM value. In addition, the prior determination unit 432 may determine whether or not to perform defect inspection using a UQI value (Universal Quality Index). The UQI value is calculated by Expression (1) in which K ₁ and K ₂ that are constants used for C ₁ and C ₂ of the above Expression (1) for calculating the SSIM value are set to 0. In the case of the UQI value, C ₁ and C ₂ are 0, and the number of parameters can be reduced as compared with the SSIM value, but the correlation with the subjective similarity tends to be lower than that in the case of the SSIM value.

その他、事前判定部４３２は、マスター画像及び読取画像の解像度を低くして、低解像度のマスター画像と読取画像との差分値の大きさを類似度とする等、欠陥検査を行う場合よりも少ないパラメータで類似度を事前に判定できる態様であればよい。その他、両画像の標準偏差等の統計値の差分を類似度としてもよい。   In addition, the pre-determination unit 432 reduces the resolution of the master image and the read image, and sets the difference value between the low-resolution master image and the read image to be similar, which is less than when performing defect inspection. Any mode can be used as long as the degree of similarity can be determined in advance using parameters. In addition, it is good also considering the difference of statistical values, such as the standard deviation of both images, as a similarity.

また、上記実施形態においては、欠陥検査の結果に関わらず、すべてのブロック画像の検査が完了するまで繰り返し処理を行う場合を例として説明した。その他、１つのブロック画像において欠陥ありと判定された時点で、検査処理を終了するようにしてもよい。１つでも欠陥ありと判定されると、その印刷物については再印刷要求がされるので、残りのブロック画像に対する検査をスキップすることで、検査時間を短縮することができる。   Further, in the above-described embodiment, the case has been described as an example in which the repeated processing is performed until the inspection of all the block images is completed regardless of the result of the defect inspection. In addition, the inspection process may be terminated when it is determined that there is a defect in one block image. If it is determined that there is at least one defect, a reprint request is made for the printed matter, so that the inspection time can be shortened by skipping the inspection for the remaining block images.

また、上記実施形態においては、ＳＳＩＭ値と比較する閾値が１つの場合を例として説明した。その他、事前判定部４３２による判定の対象範囲であるマスター画像のブロック画像の特徴に応じて異なる閾値が用いられてもよい。以下、マスター画像のブロック画像の特徴として、マスター画像の輝度の標準偏差、輝度の平均値及びブロック画像の位置に応じて異なる閾値が用いられる態様を順に説明する。なお、本実施形態においては、３つの閾値Ｔ１、Ｔ２及びＴ３が用いられる場合を例として説明するが、閾値の数は３つに限定されるものではない。また、３つの閾値の関係は、０＜Ｔ１＜Ｔ２＜Ｔ３＜１であるとする。   Moreover, in the said embodiment, the case where the threshold value compared with a SSIM value was 1 demonstrated as an example. In addition, a different threshold value may be used according to the feature of the block image of the master image that is the target range of determination by the prior determination unit 432. Hereinafter, aspects in which different threshold values are used in accordance with the standard deviation of the luminance of the master image, the average value of the luminance, and the position of the block image will be described as features of the block image of the master image. In the present embodiment, a case where three threshold values T1, T2, and T3 are used will be described as an example, but the number of threshold values is not limited to three. The relationship between the three threshold values is 0 <T1 <T2 <T3 <1.

図９は、異なる閾値が用いられる場合における本実施形態に係る検査制御部４０３の機能構成を例示するブロック図である。図９に示すように、検査制御部４０３は、図７に示した検査制御部４０３の構成に、閾値設定部４３５、区分情報記憶部４３６及び閾値情報記憶部４３７が追加された構成である。また、図９に示した情報入力部４３１は、閾値設定部４３５に対してマスター画像のブロック画像を出力する。   FIG. 9 is a block diagram illustrating a functional configuration of the inspection control unit 403 according to the present embodiment when different threshold values are used. As shown in FIG. 9, the inspection control unit 403 has a configuration in which a threshold setting unit 435, a segment information storage unit 436, and a threshold information storage unit 437 are added to the configuration of the inspection control unit 403 shown in FIG. Further, the information input unit 431 illustrated in FIG. 9 outputs a block image of the master image to the threshold setting unit 435.

閾値設定部４３５は、区分情報記憶部４３６に記憶されている後述する区分情報を参照して、ブロック画像ごとのＳＳＩＭ値に対する閾値を設定し、閾値情報記憶部４３７に記憶させる。閾値設定部４３５による処理の詳細は後述する。   The threshold value setting unit 435 sets a threshold value for the SSIM value for each block image with reference to the classification information described later stored in the classification information storage unit 436 and stores the threshold value in the threshold information storage unit 437. Details of the processing by the threshold setting unit 435 will be described later.

区分情報記憶部４３６は、輝度の標準偏差の区分情報を格納する記憶媒体である。区分情報は、複数の範囲に区分された標準偏差の区分ごとに閾値が対応付けられている定義情報である。図１０は、区分情報で定められている標準偏差の区分と各区分に対応する閾値との関係を例示する図である。一般的に、ユーザが目で見て欠陥を見つける場合、輝度の標準偏差が小さいブロック画像ほど欠陥が目につきやすい傾向にある。そこで、本実施形態においては、輝度の標準偏差が小さいブロック画像ほど類似度の判定が厳しくなるように閾値が設定される。   The classification information storage unit 436 is a storage medium that stores classification information of the standard deviation of luminance. The classification information is definition information in which a threshold is associated with each standard deviation classification divided into a plurality of ranges. FIG. 10 is a diagram illustrating the relationship between the standard deviation categories defined in the category information and the threshold values corresponding to each category. Generally, when a user finds a defect with his / her eyes, the defect tends to be noticeable as the block image has a smaller standard deviation of luminance. Therefore, in the present embodiment, the threshold is set so that the block image having a smaller standard deviation of brightness becomes more strict in determining similarity.

具体的には、閾値が３つの場合、区分情報記憶部４３６には、図１０に示すような区分情報が格納される。具体的には、標準偏差が、ＳＴ１以下（区分１とする）、ＳＴ１より大きくＳＴ２より小さい（区分２とする）、ＳＴ２以上（区分３とする）の３つの範囲に区分され、標準偏差が小さい区分順に閾値Ｔ３、Ｔ２、Ｔ１が対応付けられる。なお、ＳＴ１及びＳＴ２は予め定められた標準偏差であり、ＳＴ１＜ＳＴ２の関係であるとする。   Specifically, when there are three threshold values, the category information storage unit 436 stores the category information as shown in FIG. Specifically, the standard deviation is divided into three ranges of ST1 or less (referred to as Category 1), larger than ST1 and smaller than ST2 (referred to as Category 2), and ST2 or higher (referred to as Category 3). Threshold values T3, T2, and T1 are associated in ascending order of division. ST1 and ST2 are predetermined standard deviations, and it is assumed that ST1 <ST2.

閾値情報記憶部４３７は、ブロック画像ごとに閾値設定部４３５により設定された閾値が対応付けられた閾値情報を格納する記憶媒体である。   The threshold information storage unit 437 is a storage medium that stores threshold information in which the threshold set by the threshold setting unit 435 is associated with each block image.

図１１は、閾値設定部４３５によるブロック画像ごとの閾値設定処理を例示するフローチャートである。図１１に示すように、閾値設定部４３５は、情報入力部４３１から入力されたマスター画像のブロック画像の輝度の標準偏差を算出する（Ｓ１１０１）。標準偏差を算出した閾値設定部４３５は、区分情報記憶部４３６に記憶されている区分情報を参照して、算出した標準偏差がどの区分の範囲内であるかを判定する（Ｓ１１０２）。   FIG. 11 is a flowchart illustrating a threshold setting process for each block image by the threshold setting unit 435. As shown in FIG. 11, the threshold setting unit 435 calculates the standard deviation of the luminance of the block image of the master image input from the information input unit 431 (S1101). The threshold setting unit 435 that has calculated the standard deviation refers to the category information stored in the category information storage unit 436, and determines which category the calculated standard deviation is within (S1102).

算出した標準偏差の区分を判定した閾値設定部４３５は、区分情報を参照して、判定した区分に対応する閾値を、ブロック画像の範囲におけるマスター画像及び読取画像のＳＳＩＭ値に対する閾値として閾値情報記憶部４３７に記憶させる（Ｓ１１０３）。例えば、算出した標準偏差がＳＴ１以下である場合、閾値設定部４３５は、閾値Ｔ３をＳＳＩＭ値に対する閾値として設定して閾値情報記憶部４３７に記憶させる。   The threshold value setting unit 435 that has determined the calculated standard deviation category refers to the category information, and stores the threshold value corresponding to the determined category as the threshold value for the SSIM value of the master image and the read image in the block image range. The data is stored in the unit 437 (S1103). For example, when the calculated standard deviation is equal to or less than ST1, the threshold setting unit 435 sets the threshold T3 as a threshold for the SSIM value and stores the threshold T3 in the threshold information storage unit 437.

１つのブロック画像に対する閾値を設定した閾値設定部４３５は、全ブロック画像に対する閾値の設定が完了したか否かを判定する（Ｓ１１０４）。閾値設定部４３５は、全ブロックに対する閾値の設定が完了していない場合（Ｓ１１０４／ＮＯ）、設定が完了していないブロック画像に対してＳ１１０１以降の処理を繰り返す。一方、閾値設定部４３５は、全ブロック画像に対する閾値の設定が完了した場合（Ｓ１１０４／ＹＥＳ）、処理を終了する。   The threshold setting unit 435 that has set the threshold for one block image determines whether or not the setting of the threshold for all block images has been completed (S1104). The threshold setting unit 435 repeats the processing from S1101 on for block images for which setting has not been completed when setting of thresholds for all blocks has not been completed (NO in S1104). On the other hand, the threshold setting unit 435 ends the process when the setting of the thresholds for all the block images is completed (S1104 / YES).

図１２は、閾値情報記憶部４３７に格納された閾値情報としてブロック画像ごとに閾値が設定された態様を例示する図である。例えば、図１２に示すように、ドットでハッチングされたブロック画像の標準偏差は区分１の範囲内であり、閾値Ｔ３が設定される。また、縦線でハッチングされたブロック画像の標準偏差は区分２の範囲内であり、閾値Ｔ２が設定される。また、斜線でハッチングされたブロック画像の標準偏差は区分３の範囲内であり、閾値Ｔ１が設定される。   FIG. 12 is a diagram illustrating an example in which a threshold is set for each block image as the threshold information stored in the threshold information storage unit 437. For example, as shown in FIG. 12, the standard deviation of the block image hatched with dots is within the range of Category 1, and a threshold value T3 is set. The standard deviation of the block image hatched by the vertical line is within the range of Category 2, and a threshold value T2 is set. The standard deviation of the block image hatched with diagonal lines is within the range of Category 3, and a threshold value T1 is set.

また、事前判定部４３２は、図８に示したフローチャートのＳ８０５において、閾値情報記憶部４３７に格納されている閾値情報を参照して、３つの閾値Ｔ１〜Ｔ３のうちブロック画像の範囲に対応付けられた閾値を用いてＳＳＩＭ値と大小関係を比較する。このように、ブロック画像の輝度の標準偏差の大きさに応じて閾値を変更することにより、検査装置４においてユーザが目で見て欠陥を見つける場合に近い精度で欠陥検査を行うことができる。   In addition, in step S805 of the flowchart illustrated in FIG. 8, the prior determination unit 432 refers to the threshold information stored in the threshold information storage unit 437 and associates it with the range of the block image among the three thresholds T1 to T3. The SSIM value is compared with the magnitude relationship using the determined threshold value. In this way, by changing the threshold value according to the standard deviation of the luminance of the block image, the inspection apparatus 4 can perform defect inspection with an accuracy close to that when the user finds a defect by visual observation.

なお、上記実施形態においては、閾値の設定にブロック画像の輝度の標準偏差が用いられる場合を例として説明した。その他、ブロック画像に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換及びウェーブレット変換等を施し、主たる周波数帯域の周波数特性から算出された量に応じて閾値が設定されてもよい。   In the above embodiment, the case where the standard deviation of the luminance of the block image is used for setting the threshold has been described as an example. In addition, FFT (Fast Fourier Transform), DCT (Discrete Cosine Transform) conversion, wavelet conversion, and the like may be performed on the block image, and the threshold value may be set according to the amount calculated from the frequency characteristics of the main frequency band.

また、その他、ブロック画像の輝度の平均値が用いられてもよい。一般的に、ユーザが目で見て欠陥を見つける場合、輝度の平均値が大きいブロック画像ほど欠陥が目につきやすい傾向にある。そこで、本実施形態においては、輝度の平均値が大きいブロック画像ほど類似度の判定が厳しくなるように閾値が設定される。具体的には、輝度の平均値が用いられる場合、区分情報では、図１０に示した場合と同様に、輝度の平均値が３つの範囲に区分され、平均値が大きい区分順に閾値Ｔ３、Ｔ２、Ｔ１が対応付けられる。   In addition, the average value of the luminance of the block image may be used. In general, when a user finds a defect with his / her eyes, the defect tends to be more noticeable in a block image having a higher average luminance value. Therefore, in the present embodiment, the threshold value is set so that the block image with the larger average luminance value has a stricter similarity determination. Specifically, when the average value of luminance is used, in the category information, as in the case shown in FIG. 10, the average value of luminance is divided into three ranges, and the threshold values T3 and T2 are ordered in descending order of the average value. , T1 are associated with each other.

このように、ブロック画像の輝度の平均値の大きさに応じて変更することによっても、検査装置４においてユーザが目で見て欠陥を見つける場合に近い精度で欠陥検査を行うことができる。なお、同様に、ブロック画像ごとの画素の明度の平均値に応じて閾値が設定されてもよい。この場合、明度の平均値が大きい区分順に閾値Ｔ３、Ｔ２、Ｔ１が対応付けられる。また、高速化のためにＧ信号に応じて閾値が設定されてもよい。   As described above, the defect inspection can be performed with an accuracy close to that when the user visually finds the defect in the inspection apparatus 4 by changing the average value of the luminance values of the block images. Similarly, the threshold value may be set according to the average value of the brightness of the pixels for each block image. In this case, the threshold values T3, T2, and T1 are associated with each other in the order of the segments with the highest average brightness values. Further, a threshold value may be set according to the G signal for speeding up.

その他、閾値の設定にブロック画像の位置が用いられてもよい。一般的に、ユーザが目で見て欠陥を見つける場合、画像の中心ほど欠陥が目につきやすい傾向にある。そこで、本実施形態においては、画像の中心ほど類似度の判定が厳しくなるように閾値が設定される。具体的には、区分情報では、マスター画像の中心のブロック画像から閾値設定対象のブロック画像までの距離（以降、「ブロック画像距離」とする）が３つの範囲に区分され、距離が短い区分順に閾値Ｔ３、Ｔ２、Ｔ１が対応付けられる。   In addition, the position of the block image may be used for setting the threshold. In general, when a user finds a defect with his / her eyes, the defect tends to be easily noticed as the center of the image. Therefore, in the present embodiment, the threshold is set so that the similarity determination becomes more strict as the center of the image. Specifically, in the classification information, the distance from the central block image of the master image to the threshold setting target block image (hereinafter referred to as “block image distance”) is divided into three ranges, and the distances are sorted in ascending order of division. Threshold values T3, T2, and T1 are associated with each other.

図１３は、所定範囲ごとに分割されたマスター画像を例示する図である。図１３に示したマスター画像は、横ｗ個、縦ｈ個のブロック画像に分割されている。図１３に示すように、マスター画像の中心の黒色のブロック画像の位置を（ｐ、ｑ）とし、閾値設定対象の斜線でハッチングされたブロック画像の位置を（ｉ、ｊ）とすると、ブロック画像距離Ｄ（ｉ、ｊ）は、以下の式（２）により算出される。
FIG. 13 is a diagram illustrating a master image divided for each predetermined range. The master image shown in FIG. 13 is divided into w block images and h block images. As shown in FIG. 13, when the position of the black block image at the center of the master image is (p, q) and the position of the block image hatched with a diagonal line to be set as the threshold value is (i, j), the block image The distance D (i, j) is calculated by the following equation (2).

なお、分割数によっては中心となるブロック画像がマスター画像の中心に位置しない場合があるが、その場合、中心に近いいずれかのブロック画像が中心のブロック画像とされる。   Depending on the number of divisions, the central block image may not be located at the center of the master image. In this case, one of the block images close to the center is set as the central block image.

図１４は、閾値情報記憶部４３７に格納された閾値情報として、ブロック画像距離に応じてブロック画像ごとに閾値が設定された態様を例示する図である。例えば、図１４に示すように、マスター画像である検査用画像全体における中心に近い位置のドットでハッチングされたブロック画像においては閾値Ｔ３が設定される。また、閾値Ｔ３が設定されたブロック画像の外側の位置の斜線でハッチングされたブロック画像においては閾値Ｔ２が設定される。また、Ｔ２が設定されたブロック画像の外側の位置の縦線でハッチングされたブロック画像においては閾値Ｔ１が設定される。   FIG. 14 is a diagram illustrating a mode in which a threshold is set for each block image in accordance with the block image distance as the threshold information stored in the threshold information storage unit 437. For example, as shown in FIG. 14, a threshold value T3 is set in a block image that is hatched with dots at positions close to the center in the entire inspection image that is a master image. In addition, the threshold value T2 is set in a block image hatched with a diagonal line at a position outside the block image in which the threshold value T3 is set. Further, a threshold value T1 is set in a block image hatched with a vertical line at a position outside the block image for which T2 is set.

このように、画像の中心に位置するブロック画像ほど類似度の判定を厳しくするよう閾値を設定することにより、検査装置４においてユーザが目で見て欠陥を見つける場合に近い精度で欠陥検査を行うことができる。なお、ブロック画像距離とブロック画像の輝度の標準偏差等とを組み合わせて閾値が設定されるようにしてもよい。具体的には、例えば、図１４に示した同じ閾値の範囲それぞれにおいて、ブロック画像の輝度の標準偏差等に応じてさらに異なる閾値が設定されるようにしてもよい。この場合、標準偏差等に応じて設定される閾値は、閾値Ｔ１の領域ほど小さくなるように設定される。   In this way, by setting a threshold value such that the block image located at the center of the image has a stricter similarity determination, the inspection apparatus 4 performs defect inspection with an accuracy close to that when a user finds a defect with the eye. be able to. Note that the threshold value may be set by combining the block image distance and the standard deviation of the luminance of the block image. Specifically, for example, different threshold values may be set in accordance with the standard deviation of the luminance of the block image in each of the same threshold value ranges shown in FIG. In this case, the threshold value set according to the standard deviation or the like is set to be smaller as the area of the threshold value T1.

なお、複数の閾値を用いる上記実施形態においては、閾値設定部４３５がマスター画像のブロックごとの閾値を閾値情報記憶部４３７に記憶させ、事前判定部４３２が閾値情報記憶部４３７に記憶されている閾値情報を参照して処理を行う場合を例として説明した。しかしながら、これは一例であり、事前判定部４３２が各ブロック画像に基づいて判定処理を行うたびに閾値設定部４３５が処理対象のブロック画像に対する閾値を算出するようにしてもよい。   In the above embodiment using a plurality of threshold values, the threshold value setting unit 435 stores the threshold value for each block of the master image in the threshold value information storage unit 437, and the prior determination unit 432 is stored in the threshold value information storage unit 437. The case where processing is performed with reference to threshold information has been described as an example. However, this is an example, and the threshold setting unit 435 may calculate a threshold for the block image to be processed each time the prior determination unit 432 performs the determination process based on each block image.

２．実施形態２
以下、第２の実施形態を説明する。第１の実施形態における事前判定部４３２は、ブロック画像の画素の輝度平均値等を用いて算出したＳＳＩＭ値を用いて事前判定を行う。第２の実施形態における事前判定部４３２は、所定の周波数帯域のウェーブレット係数の平均値等を用いて算出したＣＷ−ＳＳＩＭ値を用いて事前判定を行う。 2. Embodiment 2
Hereinafter, a second embodiment will be described. The pre-determination unit 432 in the first embodiment performs pre-determination using the SSIM value calculated using the average luminance value of the pixels of the block image. The prior determination unit 432 according to the second embodiment performs prior determination using a CW-SSIM value calculated using an average value or the like of wavelet coefficients in a predetermined frequency band.

図１５は、第２の実施形態に係る検査制御部４０３の機能構成を例示するブロック図である。図１５に示すように、第２の実施形態に係る検査制御部４０３は、図７に示した検査制御部４０３の構成に、ウェーブレット係数取得部４３８が追加された構成である。以下、画像検査システムの処理において、第１の実施形態とは異なる処理のみを説明する。ウェーブレット係数取得部４３８は、事前判定部４３２に含まれ、ブロック画像から変換されたウェーブレット係数を取得する。ウェーブレット係数取得部４３８により取得されるウェーブレット係数の詳細は後述する。   FIG. 15 is a block diagram illustrating a functional configuration of the inspection control unit 403 according to the second embodiment. As shown in FIG. 15, the inspection control unit 403 according to the second embodiment has a configuration in which a wavelet coefficient acquisition unit 438 is added to the configuration of the inspection control unit 403 shown in FIG. Hereinafter, only processing different from the first embodiment in the processing of the image inspection system will be described. The wavelet coefficient acquisition unit 438 is included in the prior determination unit 432 and acquires a wavelet coefficient converted from the block image. Details of the wavelet coefficients acquired by the wavelet coefficient acquisition unit 438 will be described later.

図１６は、第２の実施形態に係る検査制御部４０３による読取画像の欠陥検査の動作を例示するフローチャートである。図１６に示したＳ１６０１からＳ１６０３の処理は、図８に示したＳ８０１からＳ８０３の処理と同様である。Ｓ１６０３の処理において情報入力部４３１からマスター画像のブロック画像及び読取画像のブロック画像が入力された事前判定部４３２は、各ブロック画像から変換された所定の周波数帯域のウェーブレット係数を取得する（Ｓ１６０４）。   FIG. 16 is a flowchart illustrating an operation of defect inspection of a read image by the inspection control unit 403 according to the second embodiment. The processing from S1601 to S1603 shown in FIG. 16 is the same as the processing from S801 to S803 shown in FIG. The prior determination unit 432 to which the block image of the master image and the block image of the read image are input from the information input unit 431 in the process of S1603 acquires the wavelet coefficient of a predetermined frequency band converted from each block image (S1604). .

ウェーブレット係数は、ウェーブレット係数取得部４３８により各ブロック画像に対してサイズ縮小変換又はサイズ不変変換がおこなわれることにより取得される。サイズ縮小変換は、各周波数帯域で構成されるウェーブレット係数の各サブバンドのサイズがブロック画像のサイズよりも縮小される変換である。サイズ不変変換は、各周波数帯域で構成されるウェーブレット係数の各サブバンドのサイズがブロック画像のサイズと同一となる変換である。なお、図１６に示した処理の説明においては、サイズ縮小変換を用いる場合を例として説明する。   The wavelet coefficient is acquired by performing size reduction conversion or size invariant conversion on each block image by the wavelet coefficient acquisition unit 438. The size reduction conversion is a conversion in which the size of each subband of the wavelet coefficient configured in each frequency band is reduced more than the size of the block image. The size-invariant transform is a transform in which the size of each subband of the wavelet coefficient configured in each frequency band is the same as the size of the block image. In the description of the processing illustrated in FIG. 16, a case where size reduction conversion is used will be described as an example.

図１７は、８×８画素の画像からサイズ縮小変換により得られるウェーブレット係数を例示する図である。図１７に示した点線で囲まれたブロックは１画素を示し、例えば、ウェーブレット係数は、８×８の画像に２階層のサイズ縮小変換を施すことにより得られる。   FIG. 17 is a diagram illustrating wavelet coefficients obtained by size reduction conversion from an 8 × 8 pixel image. A block surrounded by a dotted line shown in FIG. 17 represents one pixel. For example, a wavelet coefficient is obtained by performing size reduction conversion of two layers on an 8 × 8 image.

図１７に示した「１ＨＬ」、「１ＬＨ」及び「１ＨＨ」は、画像の主走査方向及び副走査方向それぞれに対してハイパスフィルタ又はローパスフィルタを適用して２次元のウェーブレット変換により得られる１階層の複数の周波数帯域のウェーブレット係数である。図１７に示した「２ＬＬ」、「２ＨＬ」、「２ＨＬ」及び「２ＨＨ」は、主走査方向及び副走査方向ともに低周波成分の１階層のウェーブレット係数である「１ＬＬ」を入力としウェーブレット変換により得られる２階層のウェーブレット係数である。   “1HL”, “1LH”, and “1HH” shown in FIG. 17 are one layer obtained by applying a high-pass filter or a low-pass filter to the main scanning direction and the sub-scanning direction of an image, respectively, and two-dimensional wavelet transform. Are wavelet coefficients of a plurality of frequency bands. “2LL”, “2HL”, “2HL”, and “2HH” shown in FIG. 17 are input by inputting “1LL”, which is a wavelet coefficient of one layer of low-frequency components in both the main scanning direction and the sub-scanning direction, by wavelet transform. This is a two-layer wavelet coefficient obtained.

このように、サイズ縮小変換により得られる１階層の各周波数帯域のサブバンドのウェーブレット係数のサイズは、それぞれブロック画像のサイズの４分の１であり、２階層の各周波数帯域のサブバンドのウェーブレット係数のサイズは、ブロック画像のサイズの１６分の１である。   As described above, the size of the wavelet coefficients of the subbands of each frequency band in one layer obtained by the size reduction conversion is each ¼ of the size of the block image, and the wavelets of the subbands in each frequency band of the two layers. The size of the coefficient is 1/16 of the size of the block image.

本実施形態において、事前判定部４３２は、図１７に示したウェーブレット係数のうち、斜線でハッチングされた「２ＬＬ」のウェーブレット係数を、所定の周波数帯域のウェーブレット係数である所定周波数ウェーブレット係数として取得する（Ｓ１６０４）。   In the present embodiment, the prior determination unit 432 acquires, as a predetermined frequency wavelet coefficient that is a wavelet coefficient in a predetermined frequency band, among the wavelet coefficients illustrated in FIG. 17, the “2LL” wavelet coefficient hatched with diagonal lines. (S1604).

「２ＬＬ」のウェーブレット係数を取得した事前判定部４３２は、取得した「２ＬＬ」のウェーブレット係数を用いたＳＳＩＭ値であるＣＷ−ＳＳＩＭ値を算出する（Ｓ１６０５）。すなわち、第２の実施形態において、第１の実施形態で説明した式（１）のμ_ｘは、画像ｘの「２ＬＬ」のウェーブレット係数の平均値であり、μ_ｙは、画像ｙの「２ＬＬ」のウェーブレット係数の平均値である。また、σ_ｘ ^２は、画像ｘの「２ＬＬ」のウェーブレット係数の分散であり、σ_ｙ ^２は、画像ｙの「２ＬＬ」のウェーブレット係数の分散であり、σ_ｘｙは、画像ｘと画像ｙとの「２ＬＬ」のウェーブレット係数の共分散である。 The prior determination unit 432 that has acquired the “2LL” wavelet coefficient calculates a CW-SSIM value that is an SSIM value using the acquired “2LL” wavelet coefficient (S1605). That is, in the second embodiment, μ _{x in} Expression (1) described in the first embodiment is an average value of the wavelet coefficients of “2LL” of the image x, and μ _y is “2LL of the image y. Is the average value of the wavelet coefficients. Also, σ _x ² is the variance of the “2LL” wavelet coefficient of the image x, σ _y ² is the variance of the “2LL” wavelet coefficient of the image y, and σ _xy is the image x and the image y. Is the covariance of the “2LL” wavelet coefficients.

第２の実施形態に係る事前判定部４３２は、例えば、画像ｘをマスター画像のブロック画像とし、画像ｙを読取画像のブロック画像としてＣＷ−ＳＳＩＭ値を算出する。ＣＷ−ＳＳＩＭ値を算出した事前判定部４３２は、算出したＣＷ−ＳＳＩＭ値が予め定められた閾値Ｔ以下であるか否かを判定する（Ｓ１６０６）。以降のＳ１６０７からＳ１６１１の処理は、図８に示したＳ８０６からＳ８１０の処理と同様である。   The prior determination unit 432 according to the second embodiment calculates a CW-SSIM value, for example, using the image x as a block image of the master image and the image y as a block image of the read image. The prior determination unit 432 that has calculated the CW-SSIM value determines whether or not the calculated CW-SSIM value is equal to or less than a predetermined threshold T (S1606). The subsequent processing from S1607 to S1611 is the same as the processing from S806 to S810 shown in FIG.

次に、サイズ不変変換により得られるウェーブレット係数を説明する。図１８は、８×８画素のブロック画像を例示する図である。図１８に示した点線で囲まれたブロックが１画素を示す。サイズ不変変換において、ウェーブレット係数取得部４３８は、ブロック画像の各１画素を順に注目画素とし、注目画素と隣接する３画素とから構成される４画素にウェーブレット基底関数としてハール関数を用いたウェーブレット変換をそれぞれ施す。   Next, wavelet coefficients obtained by size invariant transformation will be described. FIG. 18 is a diagram illustrating a block image of 8 × 8 pixels. A block surrounded by a dotted line shown in FIG. 18 indicates one pixel. In the size invariant transformation, the wavelet coefficient acquisition unit 438 sequentially uses each pixel of the block image as a pixel of interest, and uses a Haar function as a wavelet basis function for four pixels including the pixel of interest and three adjacent pixels. Are applied respectively.

例えば、ウェーブレット係数取得部４３８は、図１８に示した画素ａを注目画素とし、画素ａ、ｂ、ｃ、ｄから構成される４画素にハール関数を用いたウェーブレット変換を施す。この場合、以下の式により、注目画素ａから各周波数帯域のウェーブレット係数が算出される。
ＬＬ：（ａ＋ｂ＋ｃ＋ｄ）／４
ＨＬ：｛（ａ＋ｃ）−（ｂ＋ｄ）｝／２
ＬＨ：｛（ａ＋ｂ）−（ｃ＋ｄ）｝／２
ＨＨ：ａ−ｂ−ｃ＋ｄ For example, the wavelet coefficient acquisition unit 438 uses the pixel a shown in FIG. 18 as a pixel of interest, and performs wavelet transform using a Haar function on four pixels including the pixels a, b, c, and d. In this case, the wavelet coefficient of each frequency band is calculated from the target pixel a by the following formula.
LL: (a + b + c + d) / 4
HL: {(a + c)-(b + d)} / 2
LH: {(a + b)-(c + d)} / 2
HH: a−b−c + d

図１９は、８×８画素の画像からサイズ不変変換により得られる１階層の複数の周波数帯域のウェーブレット係数を例示する図である。図１９に示すように、サイズ不変変換により得られる１階層の各周波数帯域のウェーブレット係数のサイズは、ブロック画像のサイズと同じである。さらに、ウェーブレット係数取得部４３８は、図１９において斜線でハッチングされた主走査方向及び副走査方向ともに低周波成分である「１ＬＬ」のウェーブレット係数に対して、同様にハール関数を用いたウェーブレット変換（サイズ不変変換）を施す。   FIG. 19 is a diagram illustrating wavelet coefficients of a plurality of frequency bands in one layer obtained from an 8 × 8 pixel image by size-invariant transformation. As shown in FIG. 19, the size of the wavelet coefficient in each frequency band of one layer obtained by the size invariant transformation is the same as the size of the block image. Further, the wavelet coefficient acquisition unit 438 similarly applies a wavelet transform using a Haar function to the wavelet coefficient “1LL” which is a low-frequency component in both the main scanning direction and the sub-scanning direction hatched with diagonal lines in FIG. Size invariant conversion).

図２０は、８×８サイズの「１ＬＬ」のウェーブレット係数からサイズ不変変換により得られる２階層のウェーブレット係数を例示する図である。図２０に示すように、サイズ不変変換により得られる２階層の各周波数帯域のウェーブレット係数のサイズは、「１ＬＬ」のウェーブレット係数のサイズと同じ、すなわちブロック画像のサイズと同じである。   FIG. 20 is a diagram exemplifying two-layer wavelet coefficients obtained by size-invariant transformation from 8 × 8 size “1LL” wavelet coefficients. As shown in FIG. 20, the size of the wavelet coefficient in each frequency band of the two layers obtained by the size invariant transformation is the same as the size of the wavelet coefficient of “1LL”, that is, the size of the block image.

第２の実施形態に係る事前判定部４３２は、サイズ縮小変換における場合と同様に、図２０に斜線でハッチングされた「２ＬＬ」のウェーブレット係数を、所定の周波数帯域のウェーブレット係数として取得する（Ｓ１６０４）。そして、事前判定部４３２は、サイズ縮小変換における場合と同様に、取得した「２ＬＬ」のウェーブレット係数を用いたＳＳＩＭ値であるＣＷ−ＳＳＩＭ値を算出する（Ｓ１６０５）。   As in the case of the size reduction conversion, the prior determination unit 432 according to the second embodiment acquires the “2LL” wavelet coefficient hatched in FIG. 20 as a wavelet coefficient in a predetermined frequency band (S1604). ). Then, the prior determination unit 432 calculates a CW-SSIM value, which is an SSIM value using the acquired “2LL” wavelet coefficient, similarly to the case of the size reduction conversion (S1605).

上述したように、ＳＳＩＭ値は、主観の類似度と相関が高いことが知られている。一方で、比較する複数の画像の間で大きさが少し違ったり、位置が少しずれたり、少し回転（アフィン変換）していたりすると、主観の類似度が高いにもかかわらず、ＳＳＩＭ値が示す類似度が低くなる場合がある。第２の実施形態におけるＣＷ−ＳＳＩＭ値は、周波数特性を示すウェーブレット係数により算出されるので、画像の間で上述したような少しの位置ずれ等の差異が生じている場合であっても、主観の類似度が高いときは、ＣＷ−ＳＳＩＭ値が示す類似度も高くなる。   As described above, the SSIM value is known to have a high correlation with the subjective similarity. On the other hand, if the size of the images to be compared is slightly different, slightly shifted in position, or slightly rotated (affine transformation), the SSIM value is shown even though the subjective similarity is high. The similarity may be low. Since the CW-SSIM value in the second embodiment is calculated by the wavelet coefficient indicating the frequency characteristic, even if there is a difference such as a slight positional deviation as described above between images, When the similarity is high, the similarity indicated by the CW-SSIM value is also high.

したがって、第２の実施形態によれば、検査装置４におけるより高い検査精度を担保しつつ、検査時間を短縮することができる。また、サイズ不変変換によるウェーブレット係数を用いた場合、サイズ縮小変換よりもウェーブレット係数取得部４３８により取得されるデータのサイズが大きくなる。しかしながら、この場合、ブロック画像と同じサイズのウェーブレット係数により事前判定処理が行われるので、サイズ縮小変換によるウェーブレット係数を用いた場合よりも事前判定の精度がより高くなる。   Therefore, according to the second embodiment, the inspection time can be shortened while ensuring higher inspection accuracy in the inspection apparatus 4. Further, when the wavelet coefficient by the size invariant transformation is used, the size of the data acquired by the wavelet coefficient acquisition unit 438 becomes larger than the size reduction conversion. However, in this case, since the pre-determination process is performed using wavelet coefficients having the same size as the block image, the accuracy of the pre-determination is higher than when wavelet coefficients obtained by size reduction conversion are used.

なお、第２の実施形態における事前判定部４３２は、ブロック画像に対して２階層のウェーブレット変換を施し、２階層のウェーブレット係数「２ＬＬ」を用いたＣＷ−ＳＳＩＭ値に基づく事前判定を行う場合を例として説明した。「２ＬＬ」のウェーブレット係数を用いることにより、マスター画像と読取画像との位置ずれの影響をより軽減することが可能である。   Note that the prior determination unit 432 according to the second embodiment performs a two-layer wavelet transform on the block image and performs a prior determination based on the CW-SSIM value using the two-layer wavelet coefficient “2LL”. Described as an example. By using “2LL” wavelet coefficients, it is possible to further reduce the influence of misalignment between the master image and the read image.

しかしながら、「２ＬＬ」のウェーブレット係数を用いることは必須ではない。例えば、事前判定部４３２は、「２ＬＬ」、「２ＨＬ」、「２ＬＨ」及び「２ＨＨ」それぞれのウェーブレット係数を用いたＣＷ−ＳＳＩＭ値をそれぞれ算出し、これらのＣＷ−ＳＳＩＭ値のうちの最小のＣＷ−ＳＳＩＭ値を事前判定用いてもよい。その他、事前判定部４３２は、より低周波なウェーブレット係数である「３ＬＬ」や「４ＬＬ」等を用いてＣＷ−ＳＳＩＭ値を算出してもよい。   However, it is not essential to use “2LL” wavelet coefficients. For example, the prior determination unit 432 calculates CW-SSIM values using the wavelet coefficients of “2LL”, “2HL”, “2LH”, and “2HH”, respectively, and the smallest of these CW-SSIM values. The CW-SSIM value may be used in advance. In addition, the prior determination unit 432 may calculate the CW-SSIM value using “3LL”, “4LL”, and the like that are lower frequency wavelet coefficients.

また、第２の実施形態においても、第１の実施形態と同様に、ＣＷ−ＳＳＩＭ値と比較する閾値として、事前判定部４３２による判定の対象範囲であるマスター画像のブロック画像の特徴に応じて異なる閾値が用いられてもよい。   Also in the second embodiment, similarly to the first embodiment, the threshold value to be compared with the CW-SSIM value is set according to the feature of the block image of the master image that is the target range of determination by the prior determination unit 432. Different thresholds may be used.

１ ＤＦＥ
２ エンジンコントローラ
３ プリントエンジン
４ 検査装置
５ インタフェース端末
６ スタッカ
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ 専用デバイス
９０ バス
１１ 搬送ベルト
１２、１２Ｙ、１０Ｍ、１２Ｃ、１２Ｋ 感光体ドラム
１３ 給紙トレイ
１４ 転写ローラ
１５ 定着ローラ
１６ 反転パス
１０１ ジョブ情報処理部
１０２ ＲＩＰ処理部
２０１ データ取得部
２０２ エンジン制御部
２０３ ビットマップ送信部
３０１ 印刷処理部
４００ 読取装置
４０１ 読取画像取得部
４０２ マスター画像処理部
４０３ 検査制御部
４０４ 比較検査部
６０１ 排紙トレイ
４２１ 少値多値変換処理部
４２２ 解像度変換処理部
４２３ 色変換処理部
４２４ 画像出力処理部
４３１ 情報入力部
４３２ 事前判定部
４３３ 欠陥検査部
４３４ コントローラ通信部
４３５ 閾値設定部
４３６ 区分情報記憶部
４３７ 閾値情報記憶部
４３８ ウェーブレット係数取得部 1 DFE
2 Engine Controller 3 Print Engine 4 Inspection Device 5 Interface Terminal 6 Stacker 10 CPU
20 RAM
30 ROM
40 HDD
50 I / F
60 LCD
70 Operation Unit 80 Dedicated Device 90 Bus 11 Conveyor Belt 12, 12Y, 10M, 12C, 12K Photosensitive Drum 13 Paper Tray 14 Transfer Roller 15 Fixing Roller 16 Reverse Pass 101 Job Information Processing Unit 102 RIP Processing Unit 201 Data Acquisition Unit 202 Engine control unit 203 Bitmap transmission unit 301 Print processing unit 400 Reading device 401 Read image acquisition unit 402 Master image processing unit 403 Inspection control unit 404 Comparative inspection unit 601 Paper discharge tray 421 Low-value multi-value conversion processing unit 422 Resolution conversion processing unit 423 Color conversion processing unit 424 Image output processing unit 431 Information input unit 432 Pre-determination unit 433 Defect inspection unit 434 Controller communication unit 435 Threshold setting unit 436 Classification information storage unit 437 Threshold information storage unit 438 Wavelet coefficient acquisition unit

特開２０１２−１０８８５４号公報JP 2012-108854 A

Claims (11)

記録媒体上に画像形成出力された画像を読み取った読取画像の検査を行う画像検査装置であって、
画像形成出力対象の画像に基づいて、前記読取画像の検査を行うための検査用画像を生成する検査用画像生成部と、
前記読取画像と生成された前記検査用画像との差分に基づいて前記読取画像の欠陥を判定する検査を行う欠陥検査部と、
前記検査用画像及び前記読取画像に基づいて、前記読取画像の欠陥を判定する検査を行うか否かを事前に判定する事前判定部と
を含み、
前記事前判定部は、
前記検査用画像の輝度の平均値及び分散、前記読取画像の輝度の平均値及び分散、並びに前記検査用画像と前記読取画像との共分散に基づいて前記検査用画像と前記読取画像との類似度を算出し、
算出した前記類似度が予め定められた閾値以下である場合に、前記読取画像の欠陥を判定する検査を行うと判定する
ことを特徴とする画像検査装置。 An image inspection apparatus for inspecting a read image obtained by reading an image formed and output on a recording medium,
An inspection image generation unit for generating an inspection image for inspecting the read image based on an image to be imaged and output;
A defect inspection unit that performs an inspection for determining a defect of the read image based on a difference between the read image and the generated inspection image;
A pre-determination unit that determines in advance whether or not to perform an inspection for determining a defect of the read image based on the image for inspection and the read image;
The prior determination unit
Similarity between the inspection image and the read image based on the average value and variance of the luminance of the inspection image, the average value and variance of the luminance of the read image, and the covariance of the inspection image and the read image Calculate the degree,
An image inspection apparatus, wherein when the calculated similarity is equal to or less than a predetermined threshold, it is determined to perform an inspection for determining a defect of the read image. 記録媒体上に画像形成出力された画像を読み取った読取画像の検査を行う画像検査装置であって、
画像形成出力対象の画像に基づいて、前記読取画像の検査を行うための検査用画像を生成する検査用画像生成部と、
前記読取画像と生成された前記検査用画像との差分に基づいて前記読取画像の欠陥を判定する検査を行う欠陥検査部と、
前記検査用画像及び前記読取画像をそれぞれウェーブレット変換して、複数の周波数帯域のウェーブレット係数を取得するウェーブレット係数取得部と、
取得された前記検査用画像及び前記読取画像それぞれの前記複数の周波数帯域のウェーブレット係数のうち所定の周波数帯域のウェーブレット係数である所定周波数ウェーブレット係数に基づいて、前記読取画像の欠陥を判定する検査を行うか否かを事前に判定する事前判定部と
を含み、
前記事前判定部は、
前記検査用画像の前記所定周波数ウェーブレット係数の平均値及び分散、前記読取画像の前記所定周波数ウェーブレット係数の平均値及び分散、並びに前記検査用画像の前記所定周波数ウェーブレット係数と前記読取画像の前記所定周波数ウェーブレット係数との共分散に基づいて前記検査用画像と前記読取画像との類似度を算出し、
算出した前記類似度が予め定められた閾値以下である場合に、前記読取画像の欠陥を判定する検査を行うと判定する
ことを特徴とする画像検査装置。 An image inspection apparatus for inspecting a read image obtained by reading an image formed and output on a recording medium,
An inspection image generation unit for generating an inspection image for inspecting the read image based on an image to be imaged and output;
A defect inspection unit that performs an inspection for determining a defect of the read image based on a difference between the read image and the generated inspection image;
A wavelet coefficient acquisition unit that acquires wavelet coefficients of a plurality of frequency bands by performing wavelet transform on each of the inspection image and the read image;
Inspection for determining a defect of the read image based on a predetermined frequency wavelet coefficient which is a wavelet coefficient of a predetermined frequency band among wavelet coefficients of the plurality of frequency bands of the acquired image for inspection and the read image. A pre-determination unit that determines in advance whether or not to perform,
The prior determination unit
Average value and variance of the predetermined frequency wavelet coefficient of the inspection image, Average value and dispersion of the predetermined frequency wavelet coefficient of the read image, and the predetermined frequency wavelet coefficient of the inspection image and the predetermined frequency of the read image Calculate the similarity between the inspection image and the read image based on the covariance with the wavelet coefficient,
An image inspection apparatus, wherein when the calculated similarity is equal to or less than a predetermined threshold, it is determined to perform an inspection for determining a defect of the read image. 前記ウェーブレット係数取得部は、前記複数の周波数帯域それぞれのウェーブレット係数のサイズが前記検査用画像及び前記読取画像のサイズよりも小さい前記ウェーブレット係数を取得する
ことを特徴とする請求項２に記載の画像検査装置。 The image according to claim 2, wherein the wavelet coefficient acquisition unit acquires the wavelet coefficient in which the size of each of the plurality of frequency bands is smaller than the size of the inspection image and the read image. Inspection device. 前記ウェーブレット係数取得部は、前記複数の周波数帯域それぞれのウェーブレット係数のサイズが前記検査用画像及び前記読取画像のサイズと同じ前記ウェーブレット係数を取得する
ことを特徴とする請求項２に記載の画像検査装置。 3. The image inspection according to claim 2, wherein the wavelet coefficient acquisition unit acquires the wavelet coefficient in which the size of each of the plurality of frequency bands is the same as the size of the inspection image and the read image. apparatus. 前記事前に判定する対象範囲の前記検査用画像の特徴に応じて前記対象範囲ごとに前記閾値を設定する閾値設定部を
含み、
前記事前判定部は、前記対象範囲の前記検査用画像と前記読取画像との前記類似度が前記対象範囲において設定された前記閾値以下である場合に、前記読取画像の欠陥を判定する検査を行うと判定する
ことを特徴とする請求項１〜４のいずれか１項に記載の画像検査装置。 A threshold setting unit configured to set the threshold for each target range according to the characteristics of the inspection image of the target range to be determined in advance;
The pre-determination unit performs an inspection for determining a defect in the read image when the similarity between the inspection image in the target range and the read image is equal to or less than the threshold set in the target range. It determines with performing. The image inspection apparatus of any one of Claims 1-4 characterized by the above-mentioned. 前記閾値設定部は、前記対象範囲の前記検査用画像の輝度の標準偏差が小さいほど前記閾値が大きくなるように設定する
ことを特徴とする請求項５に記載の画像検査装置。 The image inspection apparatus according to claim 5, wherein the threshold setting unit sets the threshold to be larger as the standard deviation of the luminance of the inspection image in the target range is smaller. 前記閾値設定部は、前記対象範囲の前記検査用画像の輝度の平均値が大きいほど前記閾値が大きくなるように設定する
ことを特徴とする請求項５に記載の画像検査装置。 The image inspection apparatus according to claim 5, wherein the threshold value setting unit sets the threshold value to increase as an average luminance value of the inspection image in the target range increases. 前記閾値設定部は、前記対象範囲の前記検査用画像の明度が大きいほど前記閾値が大きくなるように設定する
ことを特徴とする請求項５に記載の画像検査装置。 The image inspection apparatus according to claim 5, wherein the threshold setting unit sets the threshold to increase as the brightness of the inspection image in the target range increases. 前記閾値設定部は、前記対象範囲の前記検査用画像の位置が前記検査用画像全体における中心から近いほど前記閾値が大きくなるように設定する
ことを特徴とする請求項５〜８のいずれか１項に記載の画像検査装置。 The threshold value setting unit sets the threshold value such that the threshold value increases as the position of the inspection image in the target range is closer to the center of the entire inspection image. The image inspection apparatus according to item. 記録媒体上に画像形成出力された画像を読み取った読取画像の検査を行う画像検査システムであって、
前記記録媒体に対して画像形成出力を行う画像形成部と、
前記記録媒体上に画像形成出力された画像を読み取って前記読取画像を生成する画像読取部と、
生成された前記読取画像を取得する読取画像取得部と、
画像形成出力対象の画像に基づいて、前記読取画像の検査を行うための検査用画像を生成する検査用画像生成部と、
前記読取画像と生成された前記検査用画像との差分に基づいて前記読取画像の欠陥を判定する検査を行う欠陥検査部と、
前記検査用画像及び前記読取画像に基づいて、前記読取画像の欠陥を判定する検査を行うか否かを事前に判定する事前判定部と
を含み、
前記事前判定部は、
前記検査用画像の輝度の平均値及び分散、前記読取画像の輝度の平均値及び分散、並びに前記検査用画像と前記読取画像との共分散に基づいて前記検査用画像と前記読取画像との類似度を算出し、
算出した前記類似度が予め定められた閾値以下である場合に、前記読取画像の欠陥を判定する検査を行うと判定する
ことを特徴とする画像検査システム。 An image inspection system for inspecting a read image obtained by reading an image formed and output on a recording medium,
An image forming unit that performs image forming output on the recording medium;
An image reading unit that reads the image formed and output on the recording medium and generates the read image;
A read image acquisition unit for acquiring the generated read image;
An inspection image generation unit for generating an inspection image for inspecting the read image based on an image to be imaged and output;
A defect inspection unit that performs an inspection for determining a defect of the read image based on a difference between the read image and the generated inspection image;
A pre-determination unit that determines in advance whether or not to perform an inspection for determining a defect of the read image based on the image for inspection and the read image;
The prior determination unit
Similarity between the inspection image and the read image based on the average value and variance of the luminance of the inspection image, the average value and variance of the luminance of the read image, and the covariance of the inspection image and the read image Calculate the degree,
An image inspection system, wherein when the calculated similarity is equal to or less than a predetermined threshold, it is determined to perform an inspection for determining a defect of the read image. 記録媒体上に画像形成出力された画像を読み取った読取画像の検査を行う画像検査方法であって、
画像形成出力対象の画像に基づいて、前記読取画像の検査を行うための検査用画像を生成し、
前記読取画像と生成された前記検査用画像との差分に基づいて前記読取画像の欠陥を判定する検査を行い、
前記検査用画像の輝度の平均値及び分散、前記読取画像の輝度の平均値及び分散、並びに前記検査用画像と前記読取画像との共分散に基づいて前記検査用画像と前記読取画像との類似度を算出し、
算出された前記類似度が予め定められた閾値以下である場合に、前記読取画像の欠陥を判定する検査を行うと判定する
ことを特徴とする画像検査方法。 An image inspection method for inspecting a read image obtained by reading an image formed and output on a recording medium,
Based on the image of the image formation output target, generating an inspection image for inspecting the read image,
Performing an inspection to determine defects in the read image based on a difference between the read image and the generated inspection image;
Similarity between the inspection image and the read image based on the average value and variance of the luminance of the inspection image, the average value and variance of the luminance of the read image, and the covariance of the inspection image and the read image Calculate the degree,
An image inspection method comprising: determining that an inspection for determining a defect of the read image is performed when the calculated similarity is equal to or less than a predetermined threshold.