WO2014103617A1 - 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム - Google Patents

位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム Download PDF

Info

Publication number
WO2014103617A1
WO2014103617A1 PCT/JP2013/082251 JP2013082251W WO2014103617A1 WO 2014103617 A1 WO2014103617 A1 WO 2014103617A1 JP 2013082251 W JP2013082251 W JP 2013082251W WO 2014103617 A1 WO2014103617 A1 WO 2014103617A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
defect
alignment
inspection
edge
Prior art date
Application number
PCT/JP2013/082251
Other languages
English (en)
French (fr)
Inventor
正和 柳瀬
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2014103617A1 publication Critical patent/WO2014103617A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present invention relates to image processing, and more particularly to alignment for image comparison.
  • Patent Document 1 describes that in a defect inspection of an inspection object having a repetitive pattern, image portions having the same pattern are compared and a portion having a difference is determined as a defect.
  • Patent Document 2 describes that an image of an industrial part is compared with a model image of the part to detect a defect in the industrial part.
  • the defect is detected by comparing the images.
  • it is necessary to align the images to be compared with high accuracy.
  • Various image alignment methods are known. For example, in Patent Document 2, alignment is performed by feature point matching that compares feature points detected in an image.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 11-304718 (published on November 5, 1999)” Japanese Patent Publication “JP 2012-032370 A (February 16, 2012)”
  • the feature point matching disclosed in Patent Document 2 is a method suitable for an image including a large number of locations (for example, corner points) that become feature points, but is mainly a line segment like an image of a substrate having wiring on the surface. There is a problem in that the accuracy of the alignment is reduced in an image composed of the above combinations.
  • the present invention has been made in view of the above-described problems, and its purpose is to provide an alignment apparatus that can perform highly accurate alignment even for an image mainly composed of line segments. It is to provide.
  • an alignment apparatus includes a first image that is an image of an inspection object, and a first image that is an image of the inspection object and is a comparison object.
  • An alignment apparatus that determines and aligns an image conversion in which a difference in edge feature amount indicating a feature of an edge portion is reduced as a whole image with respect to two images, and is a predetermined region in the first image The image conversion is performed by performing weighting that makes the contribution of the difference of the edge feature amount larger than outside the important region in the important region including an edge portion that enables identification with a similar region in the first image.
  • An aligned image is generated by performing image conversion determination means to be determined and image conversion determined by the image conversion determination means on either or both of the first image and the second image. It is characterized in that it comprises a ⁇ allowed means.
  • an alignment method includes a first image that is an image of an inspection object, an image of the inspection object that is the first image, and a comparison object.
  • a registration method by a registration device that determines and performs an image conversion in which a difference in edge feature amount indicating a feature of an edge portion is reduced as a whole image. Weighting that makes the contribution of the difference of the edge feature amount larger than that outside the important area in the important area including the edge portion that is a defined area and can be distinguished from a similar area in the first image.
  • the contribution of the difference in the edge feature amount in the important region including the edge portion that enables the discrimination from the similar region in the first image is important.
  • Image conversion is determined by performing weighting that is larger than that outside the region. Thereby, image conversion in which the difference between the edge feature amounts in the important region is particularly small is determined. That is, image conversion is determined such that the degree of matching is high (the difference in edge feature amount is small) for edge portions that can be distinguished from similar regions. Therefore, it is possible to improve the identification accuracy of regions similar to each other.
  • the alignment is performed using the image conversion determined as described above, there is an effect that the alignment to the correct position can be performed.
  • the image of the inspection object is an image mainly composed of a combination of line segments, it is possible to perform highly accurate alignment.
  • FIG. 1 is a block diagram showing a main configuration of a defect inspection apparatus (alignment apparatus) 1.
  • the defect inspection apparatus 1 is an apparatus for analyzing defects detected on the surface of an inspection object by analyzing an inspection image that is an image of the inspection object and classifying the detected defects.
  • the inspection object is not particularly limited, an example in which a substrate having wiring on the surface is the inspection object will be described here.
  • the entire inspection object is covered by a plurality of times of imaging in order to ensure the resolution necessary for defect detection. That is, in this case, the whole inspection object is inspected by using a plurality of inspection images obtained by imaging different parts of the inspection object.
  • the inspection image may be obtained by imaging an inspection object with a digital camera or the like, for example.
  • the defect inspection apparatus 1 includes an input unit 10 that receives input of data (inspection image or the like) necessary for processing, a control unit 11 that controls the operation of the defect inspection apparatus 1, a result of defect detection, and the like. Is output, and a storage unit 13 for storing various data used by the defect inspection apparatus 1 is provided.
  • the control unit 11 includes an edge image generation unit 101, a feature amount calculation unit 102, an image conversion determination unit (image conversion determination unit) 103, a registration unit (positioning unit) 104, a defect extraction unit 105, a defect classification unit 106, and A learning unit 107 is provided.
  • the edge image generation unit 101 generates an edge image for each image to be aligned.
  • the edge image is an image obtained by extracting an edge portion (a portion where the pixel value changes rapidly) in the image.
  • a known method can be applied to the generation of the edge image.
  • an edge image may be generated by applying a Sobel filter.
  • the feature amount calculation unit 102 calculates an edge feature amount used for comparison of the edge images generated by the edge image generation unit 101. This edge feature value is obtained by quantifying the feature of the edge image, and a feature value conventionally used in edge-based alignment can be applied as the edge feature value.
  • the image conversion determination unit 103 determines image conversion to be performed on the image to be aligned. Specifically, the image conversion determination unit 103 determines image conversion in which the difference between the edge feature amounts calculated by the feature amount calculation unit 102 is reduced as a whole image. More specifically, the image conversion determination unit 103 calculates, for each image to be aligned, the difference between the edge feature amounts of the pixels at the corresponding positions, and sets the sum of the differences to a minimum or a predetermined threshold value or less. Conversion (image conversion parameters) is determined. This image conversion may be at least conversion that matches the position of the image (conversion that translates on the image plane), and may include conversion that matches the inclination, size, and the like as necessary.
  • the alignment unit 104 generates an aligned image by performing the image conversion determined by the image conversion determination unit 103 on either or both of the images to be aligned.
  • both images to be aligned are converted into a common coordinate system (converted so that each pixel of both images is on a common coordinate system).
  • two images after alignment are generated for one of the images to be aligned. These two images correspond to the same part of the inspection object, and by comparing pixels at the same position, it is possible to detect a difference between the two images.
  • the defect extraction unit 105 extracts defect areas in the inspection image by comparing the images after alignment using a defect determination model 205 and wiring information 203 described later. Specifically, the defect extraction unit 105 calculates a feature amount for defect detection with respect to the image after alignment, extracts a defect region using the calculated feature amount and the defect determination model 205, and performs inspection. A defect extraction map in which defect areas in the image are labeled is generated.
  • the defect classification unit 106 classifies defects in the defect area extracted by the defect extraction unit 105 using a defect classification model 204 and wiring information 203 described later. Specifically, the defect classification unit 106 calculates a feature amount for defect classification from the defect extraction map generated by the defect extraction unit 105 and both images after alignment, and the calculated feature amount and the defect classification The model 204 is used to determine the type of defect in each extracted defect area.
  • the learning unit 107 generates information (defect determination model 205) used for defect determination and information (defect classification model 204) used for defect classification using learning information 201 described later.
  • the storage unit 13 stores learning information 201, a non-defective product image (first image) 202, wiring information 203, a defect classification model 204, a defect determination model 205, and important region setting information 206.
  • the defect inspection apparatus 1 should just be comprised so that the control part 11 can refer such information, for example, the structure which refers these information from an external storage medium or a storage device may be sufficient, The configuration may be such that these pieces of information are acquired via a communication network.
  • the learning information 201 is information for generating the defect classification model 204 and the defect determination model 205 as described above.
  • the learning information 201 includes a defect image which is a model image of a defect, a true defect extraction map indicating a region in which the defect image is surely found to be defective by visual inspection by a person, and True defect type information indicating the type of defect accurately determined by visual inspection or the like is included.
  • the non-defective image 202 is an image showing an inspection object having no defect, and is used for comparison with the inspection image.
  • the non-defective product image 202 may be generated by pasting together a plurality of inspection images confirmed to have no defects.
  • the non-defective product image 202 may be an image created from CAD (Computer Aided Design) data which is design information of an inspection object.
  • CAD Computer Aided Design
  • the wiring information 203 is information indicating the color of the wiring provided on the surface of the inspection object.
  • the defect classification model 204 is information for classifying the detected defect, and the defect determination model 205 is information for determining a defect location in the inspection image.
  • the important area setting information 206 is information indicating an alignment important area (important area) including feature points that can be distinguished from similar image areas in the non-defective image 202 among the image areas constituting the non-defective image 202.
  • FIG. 2 is a diagram for explaining an alignment important region.
  • FIG. 2A shows an example of a good product image 202.
  • the inspection object is a substrate after completion of the gate (wiring)
  • the non-defective image 202 is an image with few corner points and many straight lines as shown in the figure. For this reason, it is desirable to perform edge-based matching rather than the feature point matching described in [Background Art], and the defect inspection apparatus 1 performs edge-based matching.
  • a non-defective image 202 corresponding to each part of the inspection object may be prepared for each inspection object.
  • the surface shape of the inspection object is a repetitive pattern
  • a non-defective image 202 corresponding to one cycle of the pattern may be prepared.
  • the inspection object in which the linear wiring is arranged on the substrate a region having a similar appearance is likely to occur.
  • the image of the area A1 and the image of the area A2 are common in that the horizontal wiring and the vertical wiring are images connected in a T shape. Appearance is similar. And in the area
  • the inspection image corresponding to the area A1 does not completely match the image of the area A1 of the non-defective image 202 due to the difference in the imaging time, and the edge feature amount differs between the inspection image and the non-defective image.
  • the edge feature amount difference from the image of the area A2 of the non-defective image 202 is smaller than the difference from the image of the area A1, and the area A2 is erroneously detected. May occur.
  • FIG. 2B shows an inspection image obtained by imaging a part (part of the inspection target) corresponding to the area A1 in FIG. 2A and an example of an edge image generated from the inspection image.
  • 2C shows an inspection image obtained by imaging a part (part of the inspection object) corresponding to the area A2 in FIG. 2A, an example of an edge image generated from the inspection image, and the edge.
  • An example of an alignment important region on an image is shown.
  • the defect inspection apparatus 1 generates an edge image obtained by extracting an edge portion from a captured inspection image. Then, an edge feature amount is calculated for each of the edge image and the edge image of the non-defective image 202, and image conversion that minimizes the difference in the edge feature amount as a whole image is determined.
  • the edge feature amount difference in the pixels included in the alignment important region may be increased by 20 times, and the edge feature amount difference in the pixels outside the alignment important region may not be weighted (1 time).
  • the alignment important area may be an area including an edge shape that enables identification with a similar area. For example, a person can visually recognize a non-defective image 202 to detect a similar area and identify the detected area. It is good also considering the part made into alignment important area
  • FIG. 3 is a diagram showing an example of the important area setting information 206 indicating the alignment important area on the non-defective product image 202.
  • the important area setting information 206 may be information obtained by adding information indicating the alignment important area (in this example, a broken-line frame) to the non-defective product image 202. By referring to such important area setting information 206, it is possible to weight the difference between the edge feature amounts of the pixels in the alignment important area.
  • the important area setting information 206 only needs to be able to specify the alignment important area.
  • the important area setting information 206 may indicate the alignment important area by coordinates, or the alignment important area may be an image different from the non-defective image 202. It may be shown.
  • FIG. 4 is a flowchart illustrating an example of defect detection / classification processing.
  • This defect detection / classification process includes the alignment method according to the present invention.
  • the control unit 11 performs initialization based on the input data (S1). Specifically, the input unit 10 images the inspection object together with an ID for specifying the inspection object (for example, when the inspection object is a part of an apparatus, a model ID for specifying the apparatus). An input of an inspection image (second image) is received. Then, the edge image generation unit 101 reads a non-defective image (first image) 202 corresponding to the ID from the storage unit 13, and the image conversion determination unit 103 stores the important area setting information 206 corresponding to the ID. Read from. The defect extraction unit 105 reads the wiring information 203 and the defect determination model 205 corresponding to the ID from the storage unit 13, and the defect classification unit 106 acquires the wiring information 203 and the defect classification model 204 corresponding to the ID. Read from the storage unit 13.
  • the edge image generation unit 101 generates an edge image (S2). Specifically, the edge image generation unit 101 generates the edge image of the non-defective product image 202 read from the storage unit 13 and the edge image of the inspection image input in S1. Then, the edge image generation unit 101 outputs each generated edge image to the feature amount calculation unit 102.
  • the feature amount calculation unit 102 calculates the edge feature amount of each edge image received from the edge image generation unit 101 (S3), and outputs the calculated edge feature amount to the image conversion determination unit 103.
  • the image conversion determination unit 103 refers to the important area setting information 206 and identifies the alignment important area in the edge image of the non-defective image 202. Then, in a state where the alignment important region is weighted, an image conversion in which the difference of the edge feature amount is minimized for the entire image is determined (S4, image conversion determination step), and the determined image conversion is notified to the alignment unit 104. .
  • the alignment unit 104 performs the image conversion notified from the image conversion determination unit 103 on the inspection image (S5, alignment step), and the inspection image aligned with the non-defective image 202 (after image conversion). Inspection image) is generated. Then, the non-defective image 202 and the inspection image after image conversion are output to the defect extraction unit 105.
  • the defect extraction unit 105 compares the non-defective product image 202 received from the alignment unit 104 with the inspection image after image conversion based on the wiring information 203 and the defect determination model 205 and performs alignment.
  • a defect area in the inspection image is extracted (S6), and a defect extraction map in which the defect area in the inspection image is labeled is generated. Then, the generated defect extraction map is notified to the defect classification unit 106.
  • the wiring information 203 the difference between the color of the wiring portion in the inspection image and the color of the background can be identified, so that even when there is a color change, the defective part can be detected with high accuracy. Can do.
  • the defect classification unit 106 classifies defects in each defect area included in the defect extraction map based on the non-defective image 202, the inspection image after image conversion, the wiring information 203, and the defect classification model 204 (S7). ). Also in this process, by using the wiring information 203, the type of defect can be determined with high accuracy even when there is a color change. Then, the defect extraction map and information indicating the classification result are transmitted to the output unit 12 for output (S8), and the defect detection / classification process is terminated.
  • FIG. 4 only the processing for one inspection image is shown for the sake of simplicity, but when a plurality of inspection images obtained by imaging different parts of one inspection object are used, S2 to S7 for each inspection image are used. By performing the processing, the entire inspection object is inspected. In the second and subsequent inspection images, the edge image of the non-defective image 202 generated in the first processing can be used. Therefore, in S2, an edge image of only the inspection image may be generated.
  • the result output in S8 may be performed when the processing in S2 to S7 is completed for all inspection images.
  • FIG. 5 is a flowchart illustrating an example of the learning process.
  • This learning process includes the alignment method according to the present invention.
  • the control unit 11 performs initialization based on the input data (S11).
  • the input unit 10 receives an input of an ID for specifying an inspection target object to be learned (for example, when the inspection target object is a part of a device, a model ID for specifying the device).
  • the edge image generation unit 101 reads a non-defective image (first image) 202 corresponding to the ID from the storage unit 13, and the image conversion determination unit 103 stores the important area setting information 206 corresponding to the ID. Read from.
  • the learning unit 107 reads out the wiring information 203 and the learning information 201 corresponding to the ID from the storage unit 13, and sets the defect image (second image) of the inspection object included in the learning information 201 as an edge.
  • the image is output to the image generation unit 101.
  • a plurality of defect images may be output for each defect type.
  • the edge image generation unit 101 generates an edge image (S12). Specifically, the edge image generation unit 101 generates the edge image of the non-defective image 202 read from the storage unit 13 and the edge image of the defect image received from the learning unit 107. Then, the edge image generation unit 101 outputs each generated edge image to the feature amount calculation unit 102.
  • the feature amount calculation unit 102 calculates the edge feature amount of each edge image received from the edge image generation unit 101 (S13), and outputs the calculated edge feature amount to the image conversion determination unit 103.
  • the image conversion determination unit 103 refers to the important area setting information 206 and identifies the alignment important area in the edge image of the non-defective image 202. Then, in a state in which the alignment important region is weighted, an image conversion in which the difference in edge feature amount is minimized for the entire image is determined (S14, image conversion determination step), and the determined image conversion is notified to the alignment unit 104. .
  • the alignment unit 104 performs image conversion notified from the image conversion determination unit 103 on the inspection image (S15, alignment step), and a defect image (image-converted post-image conversion) aligned with the non-defective image 202. Defect image). Then, the non-defective image 202 and the defect image after image conversion are output to the learning unit 107.
  • the learning unit 107 generates a defect determination model by comparing the non-defective image 202 received from the alignment unit 104 with the defect image after image conversion based on the wiring information 203 and the learning information 201.
  • a defect classification model is generated together with (S16) (S17).
  • generated model is recorded on the memory
  • FIG. 5 for the sake of simplicity, only processing for one defect image is shown. However, when a plurality of defect images are used, the processing of S12 to S18 is performed for each defect image, so that a plurality of types of defects are processed. A defect determination model and a defect classification model are generated and recorded. In the second and subsequent defect images, since the edge image generated by the first sheet processing can be used for the non-defective image 202, an edge image of only the defect image may be generated in S12.
  • the alignment apparatus according to the present invention does not perform defect learning, detection, and classification. Also good.
  • the image registered by the alignment device according to the present invention is output to a defect detection device (a device that detects a defect from the aligned image), and the defect detection device detects the defect. You can do it.
  • the aligned image may be output to a learning device (a device that performs learning processing for defect detection and classification from the aligned image), and the learning device may perform defect learning.
  • the control block (particularly the control unit 11) of the defect inspection apparatus 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or software using a CPU (Central Processing Unit). It may be realized by.
  • the defect inspection apparatus 1 includes a CPU that executes instructions of a program that is software that realizes each function, and a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU).
  • a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • An alignment apparatus (defect inspection apparatus 1) according to aspect 1 of the present invention includes a first image (non-defective image 202) that is an image of an inspection object, and an image of the inspection object that is a first image and a comparison object.
  • An alignment apparatus for determining and aligning an image conversion in which a difference in edge feature amount indicating a feature of an edge portion is reduced as a whole image with respect to a second image (inspection image, defect image),
  • the important region (alignment important region) that is a predetermined region in the image and includes an edge portion that enables discrimination from a similar region in the first image, the contribution of the difference in the edge feature amount is important.
  • An image conversion determination unit (image conversion determination unit 103) that determines the image conversion by performing weighting larger than outside the region, and the image conversion determined by the image conversion determination unit is the first image and By applying either or both of the two images, and a positioning means for generating an image that is aligned (alignment section 104), the.
  • the alignment method according to the aspect 4 of the present invention is characterized in that the edge portion of the first image that is the image of the inspection object and the second image that is the image of the inspection object and that is the comparison target.
  • Is an alignment method by an alignment apparatus that determines and aligns image conversion in which a difference in edge feature amounts indicating the entire image is reduced, and is a predetermined region in the first image, and the first image Image conversion decision in which the image conversion is determined by performing weighting that makes the contribution of the difference of the edge feature amount larger than the outside of the important region in the important region including the edge portion that enables discrimination from the similar region in Registration is performed by applying the image conversion determined in the step (S4, S14) and the image conversion determination step to one or both of the first image and the second image. It includes a registration step of generating (S5, S15) the image.
  • the weighting is performed so that the contribution of the difference in the edge feature amount in the important region including the edge portion that enables the discrimination from the similar region in the first image is larger than that outside the important region.
  • Determine conversion Thereby, image conversion in which the difference between the edge feature amounts in the important region is particularly small is determined. That is, image conversion is determined such that the degree of matching is high (the difference in edge feature amount is small) for edge portions that can be distinguished from similar regions. Therefore, it is possible to prevent erroneous alignment for similar regions.
  • the first image is an image of an inspection object having no defect
  • the second image is an inspection object to be subjected to defect inspection.
  • a storage unit that stores important region setting information indicating the important region
  • the image conversion determination unit performs weighting with reference to the important region setting information stored in the storage unit It may be.
  • the edge portion that enables identification with a similar region in the first image is specified in advance and stored in the storage unit, thereby preventing erroneous alignment and inspecting the defect of the inspection object. Can be generated with high accuracy (image after alignment).
  • the defect inspection apparatus detects a defect of the inspection object using the aligned image generated by the alignment apparatus. Therefore, it is possible to detect defects with high accuracy and reduce the probability of overlooking defects based on incorrect alignment and the probability of erroneous detection.
  • the alignment apparatus may be realized by a computer.
  • the alignment apparatus is operated by the computer by operating the computer as each unit included in the alignment apparatus.
  • a control program for the alignment apparatus to be realized and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • the present invention can be used for defect inspection of industrial products.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

　欠陥検査装置（１）は、良品画像（２０２）中における類似の領域との識別を可能にするエッジ部分を含むアライメント重要領域に重み付けを行って画像変換を決定する画像変換決定部（１０３）と、該画像変換を良品画像（２０２）および検査画像に施すことによって、位置合わせされた画像を生成する位置合せ部（１０４）と、を備えている。

Description

位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
　本発明は、画像処理に関し、より詳細には画像比較のための位置合せに関する。
　工業製品の製造工程において、欠陥の検査を行うことは、製品の品質を確保するために重要であり、一般的に行われている。また、検査装置を用いた自動検査も実用化されている。そして、自動検査の精度向上等のための技術開発も進められている。例えば、下記特許文献１には、繰返しパターンがある検査対象物の欠陥検査において、同一パターンとなる画像部分を比較して、差異のある箇所を欠陥として判定することが記載されている。また、下記特許文献２には、工業用部品の画像と該部品のモデル画像とを比較して、工業用部品の欠陥を検出することが記載されている。
　ここで、上記何れの特許文献においても、画像の比較によって欠陥を検出しているが、画像の比較によって欠陥を検出するためには、比較対象の画像を高精度に位置合せする必要がある。画像の位置合せの手法は、様々なものが知られており、例えば特許文献２では、画像中で検出した特徴点を比較する特徴点マッチングによって位置合せを行っている。
日本国公開特許公報「特開平１１－３０４７１８号公報（１９９９年１１月５日公開）」 日本国公開特許公報「特開２０１２－０３２３７０号公報（２０１２年２月１６日）」
　特許文献２の特徴点マッチングは、特徴点となる箇所（例えばコーナー点）が多数含まれる画像に好適な手法であるが、表面に配線が設けられた基板の画像のように、主に線分の組み合わせからなる画像では位置合せの精度が落ちるという問題がある。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、主に線分の組み合わせからなる画像であっても、高精度な位置合せを行うことのできる位置合せ装置等を提供することにある。
　上記の課題を解決するために、本発明の一態様に係る位置合せ装置は、検査対象物の画像である第１画像と、該検査対象物の画像であり第１画像と比較対象となる第２画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置であって、上記第１画像において予め定められた領域であり、該第１画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定手段と、上記画像変換決定手段が決定した画像変換を上記第１画像および第２画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せ手段と、を備えていることを特徴としている。
　また、上記の課題を解決するために、本発明の一態様に係る位置合せ方法は、検査対象物の画像である第１画像と、該検査対象物の画像であり第１画像と比較対象となる第２画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置による位置合せ方法であって、上記第１画像において予め定められた領域であり、該第１画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定ステップと、上記画像変換決定ステップにて決定した画像変換を上記第１画像および第２画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せステップと、を含むことを特徴としている。
　本発明の一態様に係る位置合せ装置または位置合せ方法によれば、第１画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域におけるエッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って画像変換を決定する。これにより、重要領域内のエッジ特徴量の差分が特に小さくなる画像変換が決定される。つまり、類似の領域との識別を可能にするエッジ部分について、一致している度合いが高くなる（エッジ特徴量の差が小さくなる）画像変換が決定される。よって、互いに類似する領域の識別精度を向上させることができる。
　そして、上記のようにして決定した画像変換を用いて位置合せを行うので、正しい位置への位置合せを行うことが可能になるという効果を奏する。特に、検査対象物の画像が、主に線分の組み合わせからなる画像であっても、高精度な位置合せを行うことが可能になるという効果を奏する。
本発明の一実施形態に係る欠陥検査装置の要部構成を示すブロック図である。 アライメント重要領域を説明する図である。 良品画像上におけるアライメント重要領域を示す重要領域設定情報の例を示す図である。 上記欠陥検査装置が実行する欠陥検出・分類処理の一例を示すフローチャートである。 上記欠陥検査装置が実行する学習処理の一例を示すフローチャートである。
　以下、本発明の実施の形態について、詳細に説明する。まず、図１に基づいて本実施形態に係る欠陥検査装置の構成を説明する。図１は、欠陥検査装置（位置合せ装置）１の要部構成を示すブロック図である。
　〔装置構成〕
　欠陥検査装置１は、検査対象物の表面に生じた欠陥を、該検査対象物を撮像した画像である検査画像を解析して検出すると共に、検出した欠陥の分類を行う装置である。検査対象物は特に限定されないが、ここでは表面に配線が設けられた基板が検査対象物である例を説明する。なお、検査対象物のサイズが大きい場合には、欠陥検出に必要な解像度を確保するため、複数回の撮像によって１つの検査対象物の全体をカバーする。つまり、この場合には検査対象物の異なる部位をそれぞれ撮像して得た複数の検査画像を用いることによって、検査対象物の全体を検査する。以下では、１つの検査対象物の異なる部位をそれぞれ撮像して得た複数の検査画像の入力を受け付ける例を説明する。検査画像は、例えばデジタルカメラ等で検査対象物を撮像して得たものであってもよい。
　図示のように、欠陥検査装置１は、処理に必要なデータ（検査画像等）の入力を受け付ける入力部１０、欠陥検査装置１の動作を統括して制御する制御部１１、欠陥検出の結果等を表示する出力部１２、および欠陥検査装置１が使用する各種データを記憶する記憶部１３を備えている。
　制御部１１は、エッジ画像生成部１０１、特徴量算出部１０２、画像変換決定部（画像変換決定手段）１０３、位置合せ部（位置合せ手段）１０４、欠陥抽出部１０５、欠陥分類部１０６、および学習部１０７を備えている。
　エッジ画像生成部１０１は、位置合せの対象となる各画像について、エッジ画像を生成する。なお、エッジ画像とは、画像におけるエッジ部分（画素値が急激に変化している部分）を抽出した画像である。エッジ画像の生成については、公知の手法を適用することができる。例えば、Sobelフィルタを適用することによってエッジ画像を生成してもよい。
　特徴量算出部１０２は、エッジ画像生成部１０１が生成したエッジ画像の対比に使用するエッジ特徴量を算出する。このエッジ特徴量は、エッジ画像の特徴を数値化したものであり、エッジベースの位置合せの際に従来から用いられている特徴量を上記エッジ特徴量として適用することができる。
　画像変換決定部１０３は、位置合せの対象となる画像に対して施す画像変換を決定する。具体的には、画像変換決定部１０３は、特徴量算出部１０２が算出したエッジ特徴量の差が画像全体として小さくなる画像変換を決定する。より詳細には、画像変換決定部１０３は、位置合せの対象となる各画像について、対応する位置の画素のエッジ特徴量の差分を算出し、差分の和を最小または所定の閾値以下とする画像変換（画像変換のパラメータ）を決定する。この画像変換は、少なくとも画像の位置を合わせる変換（画像平面上において平行移動させる変換）であればよく、必要に応じて傾きやサイズ等を合わせる変換を含んでいてもよい。
　位置合せ部１０４は、画像変換決定部１０３が決定した画像変換を位置合せの対象となる画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する。言い換えれば、位置合せの対象となる両画像を共通座標系に変換（両画像の各画素が共通の座標系に乗るように変換）する。なお、ここでは、位置合せの対象となる画像の一方に施して、位置合せ後の画像を２つ生成する例を説明する。これら２つの画像は、検査対象物の同一の部位に対応しており、同じ位置の画素を比較することによって、両画像の相違点を検出することが可能となる。
　欠陥抽出部１０５は、後述の欠陥判定モデル２０５および配線情報２０３を用いて位置合せ後の画像を比較することによって検査画像における欠陥領域を抽出する。具体的には、欠陥抽出部１０５は、位置合せ後の画像について、欠陥検出のための特徴量を算出し、算出した特徴量と欠陥判定モデル２０５とを用いて欠陥領域を抽出して、検査画像における欠陥領域がラベルされた欠陥抽出マップを生成する。
　欠陥分類部１０６は、後述の欠陥分類モデル２０４および配線情報２０３を用いて、欠陥抽出部１０５が抽出した欠陥領域の欠陥を分類する。具体的には、欠陥分類部１０６は、欠陥抽出部１０５が生成した欠陥抽出マップと、位置合せ後の両画像とから、欠陥分類のための特徴量を算出し、算出した特徴量と欠陥分類モデル２０４とを用いて、抽出された各欠陥領域の欠陥の種類を判定する。
　学習部１０７は、後述の学習用情報２０１を用いて欠陥判定に使用する情報（欠陥判定モデル２０５）と欠陥分類に使用する情報（欠陥分類モデル２０４）を生成する。
　記憶部１３には、学習用情報２０１、良品画像（第１画像）２０２、配線情報２０３、欠陥分類モデル２０４、欠陥判定モデル２０５、および重要領域設定情報２０６が格納されている。なお、欠陥検査装置１は、制御部１１がこれらの情報を参照できるように構成されていればよく、例えば外部の記憶媒体や記憶装置からこれらの情報を参照する構成であってもよいし、通信ネットワークを介してこれらの情報を取得する構成であってもよい。
　学習用情報２０１は、上述のように、欠陥分類モデル２０４および欠陥判定モデル２０５を生成するための情報である。学習用情報２０１には、欠陥のモデル画像である欠陥画像、該欠陥画像において人による目視検査等によって確実に欠陥があることが判明している領域を示す真の欠陥部抽出マップ、および人による目視検査等によって正確に判定された欠陥の種類を示す真の欠陥種情報が含まれる。
　良品画像２０２は、欠陥のない検査対象物を示す画像であり、検査画像との比較のために用いられる。良品画像２０２は、例えば欠陥を有さないことが確認された複数の検査画像を貼り合わせて生成されたものであってもよい。また、良品画像２０２は、検査対象物の設計情報であるＣＡＤ（Computer Aided Design）データから作成した画像であってもよい。
　配線情報２０３は、検査対象物の表面に設けられている配線の色を示す情報である。また、欠陥分類モデル２０４は、検出された欠陥を分類するための情報であり、欠陥判定モデル２０５は、検査画像における欠陥箇所を判定するための情報である。
　重要領域設定情報２０６は、良品画像２０２を構成する画像領域のうち、該良品画像２０２中における類似の画像領域と識別可能な特徴点を含むアライメント重要領域（重要領域）を示す情報である。
　〔アライメント重要領域について〕
　続いて、アライメント重要領域について、図２に基づいてより詳細に説明する。図２は、アライメント重要領域を説明する図である。図２の（ａ）は、良品画像２０２の一例を示している。検査対象物がゲート（配線）完成後の基板である場合、配線は一般に直線状であるから、図示のように、良品画像２０２はコーナー点が少なく直線の多い画像となる。このため、〔背景技術〕に示した特徴点マッチングよりも、エッジベースのマッチングを行うことが望ましく、欠陥検査装置１ではエッジベースのマッチングを行う。なお、検査対象物のサイズが大きい場合、１つの検査対象物に対して、該検査対象物の各部分に対応する良品画像２０２をそれぞれ用意してもよい。また、検査対象物の表面形状が、繰り返しのパターンからなる場合、該パターンの一周期に対応する良品画像２０２を用意してもよい。
　ここで、直線状の配線が基板上に配置された検査対象物の場合、外観が類似する領域が生じやすい。例えば、図示の良品画像２０２において、領域Ａ１の画像と領域Ａ２の画像とは、横方向の配線と、縦方向の配線とがＴ字状に接続された画像である点で共通しており、外観が類似している。そして、外観が類似している領域では、誤った位置合せが行われる可能性がある。つまり、領域Ａ１に対応する検査画像は、撮像時期の違い等によって、良品画像２０２の領域Ａ１の画像とは完全には一致せず、検査画像と良品画像とでエッジ特徴量に差異が生じる。その結果、領域Ａ１に対応する検査画像であっても、良品画像２０２の領域Ａ２の画像とのエッジ特徴量の差異の方が、領域Ａ１の画像との差異よりも小さくなり、誤って領域Ａ２に位置合せしてしまうことが生じ得る。
　そこで、欠陥検査装置１では、アライメント重要領域を設定することによって、誤った位置合せが行われる確率を低減し、位置合せの精度を向上させている。図２の（ｂ）は、同図（ａ）の領域Ａ１に対応する部位（検査対象物の部位）を撮像した検査画像と、該検査画像から生成したエッジ画像の例とを示している。また、図２の（ｃ）は、同図（ａ）の領域Ａ２に対応する部位（検査対象物の部位）を撮像した検査画像と、該検査画像から生成したエッジ画像の例と、該エッジ画像上におけるアライメント重要領域の例を示している。
　同図の（ｂ）（ｃ）に示すように、欠陥検査装置１は、撮像された検査画像からエッジ部分を抽出したエッジ画像を生成する。そして、このエッジ画像と良品画像２０２のエッジ画像とのそれぞれについてエッジ特徴量を算出し、画像全体としてエッジ特徴量の差が最小となる画像変換を決定する。
　このとき、同図の（ｃ）に示すアライメント重要領域に含まれる画素については、エッジ特徴量の差に重み付けを行う。例えば、アライメント重要領域に含まれる画素におけるエッジ特徴量の差を２０倍にし、アライメント重要領域外の画素におけるエッジ特徴量の差には重み付けしない（１倍とする）ようにしてもよい。
　これにより、画像全体でエッジ特徴量の差が小さくなる画像変換を探索した場合に、アライメント重要領域内におけるエッジ特徴量の差が特に小さくなる画像変換が決定される。したがって、類似領域に位置合せする可能性を低減して、位置合せの精度を高めることができる。
　なお、アライメント重要領域は、類似の領域との識別を可能にするエッジ形状を含む領域であればよく、例えば人が良品画像２０２を目視して類似の領域を検出し、検出した領域を識別可能にしている部分をアライメント重要領域としてもよい。また、例えば、配線の形状が変化している箇所を自動で検出し、検出した箇所をアライメント重要領域としてもよい。さらに、過去の検査において誤ったアライメントが行われた領域を記憶しておき、この領域内における、類似の領域との識別を可能にするエッジ形状を含む箇所をアライメント重要領域として設定してもよい。
　〔重要領域設定情報の例〕
　続いて、重要領域設定情報２０６の具体例を図３に基づいて説明する。図３は、良品画像２０２上におけるアライメント重要領域を示す重要領域設定情報２０６の例を示す図である。このように、重要領域設定情報２０６は、良品画像２０２にアライメント重要領域を示す情報（この例では破線の枠）を追加したものであってもよい。このような重要領域設定情報２０６を参照することによって、アライメント重要領域内の画素におけるエッジ特徴量の差分に重み付けをすることができる。
　なお、重要領域設定情報２０６は、アライメント重要領域を特定できるものであればよく、例えばアライメント重要領域を座標で示すものであってもよいし、良品画像２０２とは別の画像でアライメント重要領域を示すものであってもよい。
　〔欠陥検出・分類処理の流れ〕
　次に、欠陥検査装置１が実行する欠陥検出・分類処理の流れを図４に基づいて説明する。図４は、欠陥検出・分類処理の一例を示すフローチャートである。なお、この欠陥検出・分類処理は、本発明に係る位置合せ方法を含む。
　まず、制御部１１に対して入力部１０を介して必要なデータが入力され、制御部１１では入力されたデータに基づいて初期化が行われる（Ｓ１）。具体的には、入力部１０は、検査対象物を特定するためのＩＤ（例えば検査対象物が機器の部品である場合、該機器を特定する機種ＩＤ等）と共に、該検査対象物を撮像した検査画像（第２画像）の入力を受け付ける。そして、エッジ画像生成部１０１は、上記ＩＤに対応する良品画像（第１画像）２０２を記憶部１３から読み出し、画像変換決定部１０３は、上記ＩＤに対応する重要領域設定情報２０６を記憶部１３から読み出す。また、欠陥抽出部１０５は、上記ＩＤに対応する配線情報２０３と欠陥判定モデル２０５とを記憶部１３から読み出し、欠陥分類部１０６は、上記ＩＤに対応する配線情報２０３と欠陥分類モデル２０４とを記憶部１３から読み出す。
　次に、エッジ画像生成部１０１は、エッジ画像の生成を行う（Ｓ２）。具体的には、エッジ画像生成部１０１は、記憶部１３から読み出した良品画像２０２のエッジ画像と、Ｓ１で入力された検査画像のエッジ画像とを生成する。そして、エッジ画像生成部１０１は、生成した各エッジ画像を特徴量算出部１０２に出力する。
　続いて、特徴量算出部１０２は、エッジ画像生成部１０１から受信した各エッジ画像のエッジ特徴量をそれぞれ算出し（Ｓ３）、算出したエッジ特徴量を画像変換決定部１０３に出力する。
　次に、画像変換決定部１０３は、重要領域設定情報２０６を参照して良品画像２０２のエッジ画像におけるアライメント重要領域を特定する。そして、該アライメント重要領域に重み付けした状態で、エッジ特徴量の差分が画像全体として最小となる画像変換を決定し（Ｓ４、画像変換決定ステップ）、決定した画像変換を位置合せ部１０４に通知する。
　続いて、位置合せ部１０４は、画像変換決定部１０３から通知された画像変換を検査画像に施し（Ｓ５、位置合せステップ）、良品画像２０２に対して位置合せされた検査画像（画像変換後の検査画像）を生成する。そして、良品画像２０２と、画像変換後の検査画像とを欠陥抽出部１０５に出力する。
　次に、欠陥抽出部１０５は、配線情報２０３と欠陥判定モデル２０５とに基づき、位置合せ部１０４から受信した、良品画像２０２と、画像変換後の検査画像とを対比して、位置合せされた検査画像における欠陥領域を抽出し（Ｓ６）、検査画像における欠陥領域がラベルされた欠陥抽出マップを生成する。そして、生成した欠陥抽出マップを欠陥分類部１０６に通知する。配線情報２０３を利用することにより、検査画像内での配線部分の色と、背景の色との違いを識別することができるので、色変化がある場合においても欠陥部位を高精度に検出することができる。
　続いて、欠陥分類部１０６は、良品画像２０２および画像変換後の検査画像と、配線情報２０３と、欠陥分類モデル２０４とに基づき、欠陥抽出マップに含まれる各欠陥領域の欠陥を分類する（Ｓ７）。この処理においても、配線情報２０３を利用することにより、色変化がある場合においても欠陥の種類を高精度に判定することができる。そして、欠陥抽出マップと分類結果を示す情報とを出力部１２に送信して出力させ（Ｓ８）、欠陥検出・分類処理を終了する。
　なお、図４では簡単のため、１つの検査画像に対する処理のみを示しているが、１つの検査対象物の異なる部分をそれぞれ撮像した複数の検査画像を用いる場合、各検査画像についてＳ２～Ｓ７の処理を行うことによって、検査対象物の全体の検査を行う。なお、２枚目以降の検査画像では、１枚目の処理で生成した、良品画像２０２のエッジ画像を使用することができるので、Ｓ２では検査画像のみのエッジ画像を生成すればよい。また、Ｓ８の結果出力は、全ての検査画像についてＳ２～Ｓ７の処理が終了したときに行えばよい。
　〔学習処理の流れ〕
　次に、欠陥検査装置１が実行する学習処理の流れを図５に基づいて説明する。図５は、学習処理の一例を示すフローチャートである。なお、この学習処理は、本発明に係る位置合せ方法を含む。
　まず、制御部１１に対して入力部１０を介して必要なデータが入力され、制御部１１では入力されたデータに基づいて初期化が行われる（Ｓ１１）。具体的には、入力部１０は、学習対象の検査対象物を特定するためのＩＤ（例えば検査対象物が機器の部品である場合、該機器を特定する機種ＩＤ等）の入力を受け付ける。そして、エッジ画像生成部１０１は、上記ＩＤに対応する良品画像（第１画像）２０２を記憶部１３から読み出し、画像変換決定部１０３は、上記ＩＤに対応する重要領域設定情報２０６を記憶部１３から読み出す。また、学習部１０７は、上記ＩＤに対応する配線情報２０３と学習用情報２０１とを記憶部１３から読み出し、学習用情報２０１に含まれる、該検査対象物の欠陥画像（第２画像）をエッジ画像生成部１０１に出力する。なお、欠陥画像は、欠陥の種別ごとに複数出力してもよい。
　次に、エッジ画像生成部１０１は、エッジ画像の生成を行う（Ｓ１２）。具体的には、エッジ画像生成部１０１は、記憶部１３から読み出した良品画像２０２のエッジ画像と、学習部１０７から受信した欠陥画像のエッジ画像とを生成する。そして、エッジ画像生成部１０１は、生成した各エッジ画像を特徴量算出部１０２に出力する。
　続いて、特徴量算出部１０２は、エッジ画像生成部１０１から受信した各エッジ画像のエッジ特徴量をそれぞれ算出し（Ｓ１３）、算出したエッジ特徴量を画像変換決定部１０３に出力する。
　次に、画像変換決定部１０３は、重要領域設定情報２０６を参照して良品画像２０２のエッジ画像におけるアライメント重要領域を特定する。そして、該アライメント重要領域に重み付けした状態で、エッジ特徴量の差分が画像全体として最小となる画像変換を決定し（Ｓ１４、画像変換決定ステップ）、決定した画像変換を位置合せ部１０４に通知する。
　続いて、位置合せ部１０４は、画像変換決定部１０３から通知された画像変換を検査画像に施し（Ｓ１５、位置合せステップ）、良品画像２０２に対して位置合せされた欠陥画像（画像変換後の欠陥画像）を生成する。そして、良品画像２０２と、画像変換後の欠陥画像とを学習部１０７に出力する。
　次に、学習部１０７は、配線情報２０３と学習用情報２０１とに基づき、位置合せ部１０４から受信した、良品画像２０２と画像変換後の欠陥画像とを対比して、欠陥判定モデルを生成する（Ｓ１６）と共に、欠陥分類モデルを生成する（Ｓ１７）。これにより、検査対象物に応じた最適な画像特徴量（欠陥判定のための特徴量と、欠陥の種類判定のための特徴量）と分離面（欠陥の有無を判定するための閾値と、欠陥の種類を判定するための閾値）とを構築することができる。そして、生成した各モデルを記憶部１３に記録し（Ｓ１８）、学習処理を終了する。
　なお、図５では簡単のため、１つの欠陥画像に対する処理のみを示しているが、複数の欠陥画像を用いる場合、各欠陥画像についてＳ１２～Ｓ１８の処理を行うことによって、複数種類の欠陥についての欠陥判定モデルおよび欠陥分類モデルを生成し、記録する。なお、２枚目以降の欠陥画像では、良品画像２０２については１枚目の処理で生成したエッジ画像を使用できるので、Ｓ１２では欠陥画像のみのエッジ画像を生成すればよい。
　〔変形例〕
　上記実施形態では、本発明に係る位置合せ装置を欠陥検査装置１に適用した例を示したが、本発明に係る位置合せ装置は、欠陥の学習、検出、および分類を行わないものであってもよい。この場合、本発明に係る位置合せ装置によって位置合せした画像を欠陥検出装置（位置合せされた画像から欠陥を検出する処理を行う装置）に出力し、該欠陥検出装置にて欠陥の検出を行わせればよい。同様に、位置合せした画像を学習装置（位置合せされた画像から欠陥検出や分類のための学習処理を行う装置）に出力し、該学習装置にて欠陥の学習を行わせればよい。
　〔ソフトウェアによる実現例〕
　欠陥検査装置１の制御ブロック（特に制御部１１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、欠陥検査装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る位置合せ装置（欠陥検査装置１）は、検査対象物の画像である第１画像（良品画像２０２）と、該検査対象物の画像であり第１画像と比較対象となる第２画像（検査画像、欠陥画像）とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置であって、上記第１画像において予め定められた領域であり、該第１画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域（アライメント重要領域）における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定手段（画像変換決定部１０３）と、上記画像変換決定手段が決定した画像変換を上記第１画像および第２画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せ手段（位置合せ部１０４）と、を備えている。
　本発明の態様４に係る位置合せ方法は、検査対象物の画像である第１画像と、該検査対象物の画像であり第１画像と比較対象となる第２画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置による位置合せ方法であって、上記第１画像において予め定められた領域であり、該第１画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定ステップ（Ｓ４、Ｓ１４）と、上記画像変換決定ステップにて決定した画像変換を上記第１画像および第２画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せステップ（Ｓ５、Ｓ１５）と、を含む。
　上記の構成によれば、第１画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域におけるエッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って画像変換を決定する。これにより、重要領域内のエッジ特徴量の差分が特に小さくなる画像変換が決定される。つまり、類似の領域との識別を可能にするエッジ部分について、一致している度合いが高くなる（エッジ特徴量の差が小さくなる）画像変換が決定される。よって、類似する領域について誤った位置合せを行うことを防ぐことができる。
　そして、上記の構成によれば、上記のようにして決定した画像変換を用いて位置合せを行うので、正しい位置への位置合せを行うことが可能になる。特に、検査対象物の画像が、主に線分の組み合わせからなる画像であっても、高精度な位置合せを行うことが可能である。
　また、本発明の態様２に係る位置合せ装置では、上記態様１において、上記第１画像は、欠陥のない検査対象物の画像であり、上記第２画像は欠陥検査の対象となる検査対象物の画像であり、上記重要領域を示す重要領域設定情報を格納する記憶部を備え、上記画像変換決定手段は、上記記憶部に格納されている上記重要領域設定情報を参照して重み付けを行うものであってもよい。
　上記の構成によれば、第１画像中における類似の領域との識別を可能にするエッジ部分を予め特定して記憶部に格納することにより、誤った位置合せを防ぎ、検査対象物の欠陥検査を高精度に行うことのできる画像（位置合せ後の画像）を生成することができる。
　また、本発明の態様３に係る欠陥検査装置は、上記位置合せ装置が生成した、位置合せされた画像を用いて、上記検査対象物の欠陥を検出する。したがって、誤った位置合せに基づく欠陥の見落としや、誤検出の確率を低減し、高精度な欠陥検出を行うことができる。
　そして、本発明の各態様に係る位置合せ装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記位置合せ装置が備える各手段として動作させることにより上記位置合せ装置をコンピュータにて実現させる位置合せ装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　本発明は、工業製品の欠陥検査等に利用することができる。
　　１　欠陥検査装置（位置合せ装置）
　１３　記憶部
１０３　画像変換決定部（画像変換決定手段）
１０４　位置合せ部（位置合せ手段）
２０２　良品画像（第１画像）
２０６　重要領域設定情報

Claims (5)

  1. 　検査対象物の画像である第１画像と、該検査対象物の画像であり第１画像と比較対象となる第２画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置であって、
    　上記第１画像において予め定められた領域であり、該第１画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定手段と、
    　上記画像変換決定手段が決定した画像変換を上記第１画像および第２画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せ手段と、を備えていることを特徴とする位置合せ装置。
  2. 　上記第１画像は、欠陥のない検査対象物の画像であり、上記第２画像は欠陥検査の対象となる検査対象物の画像であり、
    　上記重要領域を示す重要領域設定情報を格納する記憶部を備え、
    　上記画像変換決定手段は、上記記憶部に格納されている上記重要領域設定情報を参照して重み付けを行うことを特徴とする請求項１に記載の位置合せ装置。
  3. 　請求項１または２に記載の位置合せ装置が生成した、位置合せされた画像を用いて、上記検査対象物の欠陥を検出する欠陥検査装置。
  4. 　検査対象物の画像である第１画像と、該検査対象物の画像であり第１画像と比較対象となる第２画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置による位置合せ方法であって、
    　上記第１画像において予め定められた領域であり、該第１画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定ステップと、
    　上記画像変換決定ステップにて決定した画像変換を上記第１画像および第２画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せステップと、を含むことを特徴とする位置合せ方法。
  5. 　請求項１または２に記載の位置合せ装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記画像変換決定手段および上記位置合せ手段として機能させるための制御プログラム。
PCT/JP2013/082251 2012-12-26 2013-11-29 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム WO2014103617A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-283173 2012-12-26
JP2012283173A JP2014126445A (ja) 2012-12-26 2012-12-26 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム

Publications (1)

Publication Number Publication Date
WO2014103617A1 true WO2014103617A1 (ja) 2014-07-03

Family

ID=51020711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/082251 WO2014103617A1 (ja) 2012-12-26 2013-11-29 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム

Country Status (2)

Country Link
JP (1) JP2014126445A (ja)
WO (1) WO2014103617A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194908A (zh) * 2016-03-14 2017-09-22 株式会社理光 图像处理装置以及图像处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151714B2 (en) 2017-09-29 2021-10-19 Nec Corporation Anomaly detection apparatus, anomaly detection method, and computer-readable recording medium
JP7028322B2 (ja) * 2018-07-09 2022-03-02 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11010888B2 (en) 2018-10-29 2021-05-18 International Business Machines Corporation Precision defect detection based on image difference with respect to templates
US10957032B2 (en) 2018-11-09 2021-03-23 International Business Machines Corporation Flexible visual inspection model composition and model instance scheduling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11304718A (ja) * 1998-04-21 1999-11-05 Hitachi Ltd 欠陥検査方法および装置
JP2012032370A (ja) * 2010-07-29 2012-02-16 Sharp Corp 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
JP2012068137A (ja) * 2010-09-24 2012-04-05 Toshiba Corp アライメント方法及び検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324238A (ja) * 2001-04-26 2002-11-08 Fuji Photo Film Co Ltd 画像の位置合わせ方法および装置
JP4275345B2 (ja) * 2002-01-30 2009-06-10 株式会社日立製作所 パターン検査方法及びパターン検査装置
JP2009211148A (ja) * 2008-02-29 2009-09-17 Secom Co Ltd 顔画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11304718A (ja) * 1998-04-21 1999-11-05 Hitachi Ltd 欠陥検査方法および装置
JP2012032370A (ja) * 2010-07-29 2012-02-16 Sharp Corp 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
JP2012068137A (ja) * 2010-09-24 2012-04-05 Toshiba Corp アライメント方法及び検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194908A (zh) * 2016-03-14 2017-09-22 株式会社理光 图像处理装置以及图像处理方法

Also Published As

Publication number Publication date
JP2014126445A (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
CN109961421B (zh) 数据生成装置、数据生成方法以及数据生成记录介质
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
US11797886B2 (en) Image processing device, image processing method, and image processing program
US8115169B2 (en) Method and apparatus of pattern inspection and semiconductor inspection system using the same
US20140119638A1 (en) System, method and computer program product to evaluate a semiconductor wafer fabrication process
US11842481B2 (en) Defect offset correction
US7978904B2 (en) Pattern inspection apparatus and semiconductor inspection system
JP2004077164A (ja) 欠陥検査方法
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
TW201351347A (zh) 使用表面形貌屬性之缺陷分類
JP6197340B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2009071271A (ja) パターン形状評価方法，パターン形状評価装置，パターン形状評価データ生成装置およびそれを用いた半導体形状評価システム
JP2020106461A (ja) 画像生成装置及び外観検査装置
CN114677348A (zh) 一种基于视觉的ic芯片缺陷的检测方法、***和存储介质
JP2010133744A (ja) 欠陥検出方法およびその方法を用いた視覚検査装置
JP2006266943A (ja) 欠陥検査装置及び欠陥検査方法
JPH05281154A (ja) パターン欠陥検査装置
JP4791998B2 (ja) パターン形状評価方法およびプログラム
JP2019045451A (ja) 検査装置、検査方法、およびプログラム
JP2000321038A (ja) パターン欠陥検出方法
JP2010019561A (ja) 欠陥検査装置および欠陥検査方法
KR20230040272A (ko) 결함 검사 시스템 및 결함 검사 방법
CN117083630A (zh) 信息处理装置、控制程序以及控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13868825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13868825

Country of ref document: EP

Kind code of ref document: A1