WO2016035381A1 - 検査装置および検査方法 - Google Patents

検査装置および検査方法 Download PDF

Info

Publication number
WO2016035381A1
WO2016035381A1 PCT/JP2015/062872 JP2015062872W WO2016035381A1 WO 2016035381 A1 WO2016035381 A1 WO 2016035381A1 JP 2015062872 W JP2015062872 W JP 2015062872W WO 2016035381 A1 WO2016035381 A1 WO 2016035381A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
area
unit
defect candidate
defect
Prior art date
Application number
PCT/JP2015/062872
Other languages
English (en)
French (fr)
Inventor
泰史 永田
Original Assignee
株式会社Ｓｃｒｅｅｎホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｓｃｒｅｅｎホールディングス filed Critical 株式会社Ｓｃｒｅｅｎホールディングス
Priority to KR1020177006857A priority Critical patent/KR101931456B1/ko
Priority to EP15838785.2A priority patent/EP3190401B1/en
Priority to US15/507,950 priority patent/US10705029B2/en
Priority to CN201580047339.XA priority patent/CN106796179B/zh
Publication of WO2016035381A1 publication Critical patent/WO2016035381A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8812—Diffuse illumination, e.g. "sky"
    • G01N2021/8816—Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/062—LED's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Definitions

  • the present invention relates to a technique for inspecting the appearance of an object having a textured area on the surface.
  • a camera for imaging an object to be inspected and an illuminating unit that rotates around the camera are provided. Imaging is performed sequentially.
  • the shape recognition apparatus since the shadow of the protrusion (defective shape) on the object to be inspected changes according to the change in the illumination angle, the shape of the protrusion can be estimated.
  • metal parts for example, automobile parts formed by forging or casting are subjected to surface processing such as shot blasting, and the surface has a satin-like three-dimensional structure in which minute irregularities are distributed.
  • surface processing such as shot blasting
  • the surface has a satin-like three-dimensional structure in which minute irregularities are distributed.
  • defects such as dents and scratches on the surface of the object are detected by an operator's visual observation.
  • the accuracy of the inspection varies among the workers even if the inspection standard is set. Moreover, there is a possibility that a defect in the object is missed due to human error.
  • the light incident on the satin-like surface is diffusely reflected (diffuse reflection), resulting in large variations in gradation values (local changes in shading) in the captured image. Many false defects will be detected.
  • the present invention is directed to an inspection apparatus for inspecting the appearance of an object having a satin-like region on the surface, and an object thereof is to accurately detect defects on the satin-like surface of the object.
  • the inspection apparatus includes a first illumination unit that emits light from only one direction to a predetermined target region on the surface of the target, and a first illumination unit that emits light from a plurality of directions to the target region.
  • 2 illumination units an imaging unit that captures the target area, a first captured image acquired by the imaging unit by irradiation of light from the first illumination unit, and a first reference corresponding to the first captured image
  • a defect candidate detection unit that detects a defect candidate area in the target area as a second defect candidate area by comparing with a second reference image corresponding to the second captured image, the first defect candidate area, and the Second defect candidate area
  • the second illumination unit includes a plurality of light source units that respectively irradiate light from a plurality of directions with respect to the target region, and one light source of the plurality of light source units.
  • the part is the first illumination part.
  • the inspection apparatus further includes a control unit that causes the imaging unit to acquire a plurality of first captured images by sequentially using each of the plurality of light source units as the first illumination unit,
  • the defect candidate detection unit compares each of the plurality of first captured images with a plurality of first reference images corresponding to the plurality of first captured images, and each of the plurality of first captured images indicates a first defect candidate region.
  • a first defect candidate image is generated, and the defect identification unit defines the first defect candidate region indicated by each first defect candidate image and the overlapping region in the second defect candidate region as a defect region in the target region.
  • the number of the plurality of light source units is 3 or more.
  • the present invention is also directed to an inspection method for inspecting the appearance of an object having a textured area on the surface.
  • a predetermined target region on the surface of an object is irradiated with light from only one direction by the first illumination unit, and an imaging unit that images the target region A step of acquiring one captured image; b) a step of acquiring a second captured image by the imaging unit while irradiating the target region with light from a plurality of directions by a second illumination unit; c) Detecting a defect candidate area in the target area as a first defect candidate area by comparing the first captured image with a first reference image corresponding to the first captured image; and d) the second imaging.
  • FIG. 1 is a diagram showing a configuration of an inspection apparatus 1 according to an embodiment of the present invention.
  • FIG. 2 is a plan view showing the main body 11 of the inspection apparatus 1.
  • the inspection apparatus 1 is an apparatus that inspects the appearance of a three-dimensional object 9 having a glossy surface.
  • the object 9 is, for example, a metal part formed by forging or casting, and the surface thereof has a matte shape with minute irregularities.
  • the object 9 is, for example, various parts (cylindrical hub shaft, outer ring, yoke, etc.) used for universal joints.
  • the inspection apparatus 1 includes a main body 11 and a computer 12.
  • the main body 11 includes a stage 2, a stage rotating unit 21, an imaging unit 3, and a light source unit 4.
  • the object 9 is placed on the stage 2.
  • the stage rotation unit 21 rotates the object 9 together with the stage 2 by a predetermined angle about the central axis J1 that faces in the up-down direction.
  • the central axis J1 passes through the center of the stage 2.
  • the main body 11 is provided with a light shielding cover (not shown) that prevents external light from reaching the stage 2, and the stage 2, the imaging unit 3, and the light source unit 4 are provided within the light shielding cover.
  • the imaging unit 3 includes one upper imaging unit 31, four oblique imaging units 32, and four side imaging units 33.
  • the upper imaging unit 31 is not shown (the same applies to the upper light source unit 41 described later).
  • the upper imaging unit 31 is disposed on the central axis J1 above the stage 2. An image obtained by imaging the object 9 on the stage 2 from directly above can be acquired by the upper imaging unit 31.
  • the four oblique imaging units 32 are arranged around the stage 2. .
  • the four oblique imaging units 32 are arranged at an angular interval (pitch) of 90 ° in the circumferential direction around the central axis J1.
  • an angle ⁇ 2 formed by the imaging optical axis K2 and the central axis J1 is approximately 45 °.
  • Each oblique imaging unit 32 can acquire an image obtained by imaging the object 9 on the stage 2 from above.
  • the four side imaging units 33 are also arranged around the stage 2 in the same manner as the four oblique imaging units 32.
  • the four side imaging units 33 are arranged at an angular interval of 90 ° in the circumferential direction.
  • the angle ⁇ 3 formed by the imaging optical axis K3 and the central axis J1 is approximately 90 °.
  • the upper imaging unit 31, the oblique imaging unit 32, and the side imaging unit 33 have, for example, a CCD (Charge (CoupledupDevice), a CMOS (Complementary Metal-Oxide Semiconductor), and the like, and acquire multi-gradation images.
  • the upper imaging unit 31, the oblique imaging unit 32, and the side imaging unit 33 are supported by a support unit (not shown).
  • the light source unit 4 includes one upper light source unit 41, eight oblique light source units 42, and eight side light source units 43.
  • the upper light source unit 41 is a light source unit in which a plurality of LEDs (light emitting diodes) are arranged in a ring shape centered on the central axis J1.
  • the ring-shaped upper light source unit 41 is fixed to the upper imaging unit 31 so as to surround the upper imaging unit 31.
  • the upper light source unit 41 can irradiate the object 9 on the stage 2 from directly above along a direction parallel to the central axis J1.
  • each oblique light source unit 42 is a light source unit in which a plurality of LEDs are arranged in a bar shape extending in the tangential direction of the circumference around the central axis J1.
  • an “illumination axis” a line connecting the center of the emission surface of each oblique light source section 42 and the object 9 (the center thereof) is called an “illumination axis”
  • the plane including the illumination axis and the central axis J1 of the oblique light source section 42 is.
  • Each oblique light source unit 42 can irradiate the object 9 on the stage 2 along the illumination axis from obliquely above.
  • four of the eight oblique light source units 42 are fixed to the four oblique imaging units 32, and the remaining four oblique light source units 42 are illustrated. It is supported by the omitted support part.
  • each side light source unit 43 is a light source unit in which a plurality of LEDs are arranged in a bar shape extending in the tangential direction of the circumference around the central axis J1.
  • an illumination axis when a line connecting the center of the emission surface of each side light source unit 43 and the object 9 is referred to as an “illumination axis”, the illumination axis and the central axis J 1 of the side light source unit 43.
  • Each side light source unit 43 can irradiate the object 9 on the stage 2 from the side along the illumination axis.
  • four of the eight side light source units 43 are fixed to the four side imaging units 33, and the remaining four side light source units 43 are illustrated. It is supported by the omitted support part.
  • the distance between the upper imaging unit 31 and the upper light source unit 41 and the object 9 is about 55 cm (centimeter).
  • the distance between the oblique imaging unit 32 and the oblique light source unit 42 and the object 9 is about 50 cm, and the distance between the side imaging unit 33 and the side light source unit 43 and the object 9 is about 40 cm.
  • a light source of a type other than an LED may be used.
  • FIG. 3 is a block diagram showing a functional configuration realized by the computer 12.
  • the computer 12 includes a control unit 60 and a defect detection unit 61.
  • the control unit 60 is responsible for overall control of the inspection apparatus 1.
  • the defect detection unit 61 includes a defect candidate detection unit 62 and a defect identification unit 63.
  • the defect candidate detection unit 62 detects a defect candidate area based on the captured image acquired by the imaging unit 3.
  • the defect specifying unit 63 specifies a defect area indicating a true defect from the defect candidate areas. Details of the defect candidate detection unit 62 and the defect identification unit 63 will be described later.
  • FIG. 4 is a diagram showing a flow of processing for inspecting the object 9 by the inspection apparatus 1.
  • the object 9 to be inspected is placed on the stage 2 (step S11).
  • a plurality of pins for alignment are provided, and an object is placed at a predetermined position on the stage 2 by bringing a predetermined portion of the object 9 into contact with the plurality of pins. 9 are arranged in a predetermined direction.
  • imaging setting information for the object 9 on the stage 2 is acquired based on an input by the operator or the like (step S12).
  • the imaging setting information includes an imaging unit used in the imaging unit 3 (hereinafter referred to as a “selected imaging unit”), a light source unit that is turned on in the light source unit 4 when the selected imaging unit acquires a captured image, and Indicates.
  • selected imaging unit an imaging unit used in the imaging unit 3
  • light source unit that is turned on in the light source unit 4 when the selected imaging unit acquires a captured image
  • the imaging setting information in this processing example indicates that the four oblique imaging units 32 in the imaging unit 3 are used as the selective imaging units.
  • the imaging setting information is obtained with respect to each of the oblique imaging units 32 that are the selected imaging units, and to the oblique light source unit 42 at the same position as the oblique imaging unit 32 and clockwise with respect to the oblique light source unit 42.
  • the two oblique light source units 42 adjacent to each other and the two oblique light source units 42 adjacent to each other in the counterclockwise direction hereinafter, these oblique light source units 42 are referred to as “specific light source unit group”). Acquisition of an image to turn on and acquisition of an image to light all of the specific light source group.
  • the illumination axes of the five oblique light source units 42 included in the specific light source unit group for each oblique imaging unit 32 are the imaging light of the oblique imaging unit 32. Inclined by ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 °, respectively, with respect to the axis K2. That is, the five oblique light source units 42 are ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 °, respectively, with respect to the oblique imaging unit 32 in the circumferential direction around the central axis J1. Located at an angular position.
  • one oblique imaging unit 32 among the plurality of oblique imaging units 32, each of which is a selected imaging unit, is designated as an attention imaging unit (step S13).
  • a captured image is acquired by the focused imaging unit 32 while only one oblique light source unit 42 of the specific light source unit group for the focused imaging unit 32 is turned on.
  • a region approximately facing the imaging unit 32 of interest on the surface of the object 9 is defined as a “target region”, and light is irradiated along the illumination axis from the oblique light source unit 42 to the target region.
  • the target imaging unit 32 images the target region while irradiating light from only one direction by the one oblique light source unit 42 included in the specific light source unit group.
  • a captured image acquired by the target imaging unit by irradiation of light from only one light source unit is referred to as a “first captured image”, and light is applied to the target region when acquiring the first captured image.
  • the light source part to irradiate is called a “first illumination part”.
  • a shadow due to minute unevenness in the target region is likely to occur.
  • a plurality of first captured images are obtained by the attention imaging unit 32 by sequentially using each of the plurality of oblique light source units 42 included in the specific light source unit group as the first illumination unit under the control of the control unit 60. Is acquired (step S14).
  • the specific light source unit group includes the oblique light source unit 42 at angular positions of ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° with respect to the imaging unit 32 of interest.
  • first captured image by N ° illumination When the first captured image obtained using the light source unit at the N ° angular position with respect to the target imaging unit as the first illumination unit is referred to as “first captured image by N ° illumination”, in step S14, ⁇ 90 First captured image with illumination of °, first captured image with illumination of -45 °, first captured image with illumination of 0 °, first captured image with illumination of + 45 °, and first imaging with illumination of + 90 ° An image is acquired.
  • the plurality of oblique light source units 42 included in the specific light source unit group can be regarded as a plurality of first illumination units used for acquiring a plurality of first captured images. Note that each oblique light source unit 42 included in the specific light source unit group does not necessarily irradiate the entire target region.
  • the oblique light source unit 42 at an angular position of ⁇ 90 ° is approximately equal to the target region. Irradiate half of the light.
  • the light source unit used as the first illuminating unit may irradiate light from only one direction with respect to each position of the region where light irradiation is possible in the target region.
  • a captured image is acquired by the focused imaging unit 32 while all the oblique light source units 42 included in the specific light source unit group for the focused imaging unit 32 are turned on (step S15).
  • light from a plurality of oblique light source units 42 at angular positions of ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° with respect to the target imaging unit 32 is applied to the target region along the illumination axis. Is irradiated.
  • the target imaging unit 32 images the target region while irradiating the target region with light from a plurality of different directions by the plurality of oblique light source units 42.
  • the captured image acquired by the target imaging unit by irradiating light from all the light source units included in the specific light source unit group is referred to as a “second captured image”, and the second captured image is acquired.
  • a set of all light source units that irradiate the object 9 with light is referred to as a “second illumination unit”.
  • each oblique light source unit 42 included in the specific light source unit group does not necessarily irradiate the entire target region with light, but at least 2 in each position of the target region by the second illumination unit.
  • Light is emitted from the oblique light source units 42, that is, from at least two directions.
  • each position of the target region is irradiated with light from at least three oblique light source units.
  • the intensity of light emitted from the plurality of oblique light source units 42 included in the specific light source unit group is substantially the same.
  • the intensity of light from each oblique light source unit 42 at the time of acquiring the second captured image is smaller than the intensity of light from the oblique light source unit 42 at the time of acquiring the first captured image.
  • FIG. 5 to 7 are diagrams showing an example of the first captured image.
  • FIG. 5 shows a first captured image with ⁇ 90 ° illumination
  • FIG. 6 shows a first captured image with ⁇ 45 ° illumination
  • FIG. 7 shows a first captured image with 0 ° illumination.
  • FIG. 8 is a diagram illustrating an example of the second captured image.
  • the second captured image is acquired by light irradiation from the second illumination unit, that is, all illumination of ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 °. 5 to 8, the region indicating the background of the object 9 is indicated by parallel diagonal lines.
  • a defect area that shows a concave or convex defect in the target area is usually irradiated from a certain direction.
  • the difference in brightness with respect to the surrounding area increases due to the light that is emitted.
  • the difference in brightness of the defect area with respect to the surrounding area becomes slight with light irradiated from other directions.
  • the defect area has brightness that can be distinguished from the surrounding area by illumination at ⁇ 45 °, and the defect area is difficult to distinguish by illumination in other directions.
  • the first captured image of FIG. 6 with ⁇ 45 ° illumination and the second captured image of FIG. 8 with all ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° illumination is a brightness that can be distinguished from surrounding areas.
  • a false defect area there is a region where the brightness is different from the surrounding region, that is, a false defect region, due to the matte surface of the target region.
  • the position where the false defect area is generated is different from that of the first captured image.
  • the true defect area 71 and the false defect area 72 are blacked out. Actually, it is impossible to distinguish between the true defect area and the false defect area at the present stage. Of course, the false defect area 72 may also occur in other first captured images.
  • a plurality of first captured images by illumination of each oblique light source unit 42 included in the specific light source unit group, and second captured images by illumination of all the oblique light source units 42 included in the specific light source unit group are detected as defects. It is input to the defect candidate detection unit 62 of the unit 61.
  • FIG. 9 is a diagram illustrating a configuration of the defect candidate detection unit 62.
  • the defect candidate detection unit 62 a first reference image corresponding to each first captured image and a second reference image corresponding to the second captured image are stored in advance.
  • the first reference image corresponding to each first captured image is an image that is acquired under the same conditions as the first captured image and indicates a target region that does not include a defect.
  • the first reference image is acquired, for example, by performing the same process as in step S14 on an object that does not include a defect, and is stored in the defect candidate detection unit 62.
  • a first reference image corresponding to the first captured image may be generated by performing predetermined processing on each first captured image. The same applies to the second reference image corresponding to the second captured image.
  • each of the plurality of first captured images and second captured images is simply “imaging”.
  • the first or second reference image corresponding to the captured image is simply referred to as a “reference image”.
  • filter processing for removing noise such as a median filter and a Gaussian filter is performed on the captured image and the reference image, respectively, and the filtered captured image and reference image are sent to the pre-alignment unit 622. Entered.
  • the pre-alignment unit 622 the amount of positional deviation and angle shift relative to the reference image of the (filtered) captured image is specified by pattern matching using a predetermined pattern. Then, the position and angle of the captured image are adjusted to the reference image by translating and rotating the captured image with respect to the reference image by an amount of position and angle deviation between the two images (that is, pre-alignment is performed). .
  • the sway comparator 623 evaluates the difference between the moved captured image and the reference image when the captured image is moved from the pre-aligned position with respect to the reference image to each of a plurality of two-dimensionally arranged positions.
  • a value for example, a sum of pixel value differences (absolute values) in a region where both images overlap
  • an image indicating a difference (absolute value) between pixel values of both images at a position where the evaluation value is minimum is binarized with a predetermined threshold value, and a binary defect candidate image is output.
  • the defect candidate detection unit 62 compares each captured image with the reference image corresponding to the captured image, thereby determining a defect candidate region in the target region (hereinafter referred to as “defect candidate region”).
  • the defect candidate image shown is generated. In other words, a defect candidate area in the target area is detected based on the captured image.
  • the defect candidate detection unit 62 compares each first captured image with the first reference image corresponding to the first captured image, so that the first defect candidate image indicating the first defect candidate region is obtained.
  • the first defect candidate region is generated and detected (step S16).
  • a second defect candidate image indicating the second defect candidate region is generated, and the second defect candidate region is detected.
  • the first defect candidate image acquired from the first captured image with N ° illumination is referred to as “first defect candidate image with N ° illumination”
  • the first defect with ⁇ 90 ° illumination is obtained.
  • FIG. 10 is a diagram showing a first defect candidate image derived from ⁇ 45 ° illumination derived from the first captured image of FIG. 6, and FIG. 11 is ⁇ 90 °, ⁇ derived from the second captured image of FIG. 8. It is a figure which shows the 2nd defect candidate image by all the illumination of 45 degrees, 0 degrees, +45 degrees, and +90 degrees.
  • the first defect candidate image in FIG. 10 is a binary image showing the true defect area 71 and the false defect area 72 in FIG. 6 as the first defect candidate area 73.
  • the second defect candidate image in FIG. 11 is a binary image showing the true defect area 71 and the false defect area 72 in FIG. 8 as the second defect candidate area 74.
  • the plurality of first defect candidate images and second defect candidate images are output to the defect specifying unit 63.
  • FIG. 12 is a diagram showing the configuration of the defect identification unit 63.
  • Pixel values of a plurality of first defect candidate images with illumination of ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° are sequentially input to the plurality of AND operation units 631, respectively.
  • pixel values of the second defect candidate image are also sequentially input to the plurality of AND operation units 631.
  • each logical product operation unit 631 obtains a logical product of the value of each pixel of the second defect candidate image and the value of the corresponding pixel of the first defect candidate image, and outputs the logical product to the logical sum operation unit 632.
  • each AND operation unit 631 when the second defect candidate image and the first defect candidate image are accurately overlapped, the pixel of the region where the second defect candidate region 74 and the first defect candidate region 73 overlap is used. On the other hand, a value indicating a defective area is output. In addition, a value indicating a non-defective region is output for a pixel in a region where the second defect candidate region 74 and the first defect candidate region 73 do not overlap. In this manner, the overlapping area in the second defect candidate area 74 and the first defect candidate area 73 is substantially specified as the defect area in the target area.
  • the logical sum operation unit 632 obtains the logical sum of the values input from the plurality of logical product operation units 631 for each pixel of the second defect candidate image and outputs it to the area filter unit 633. That is, for each pixel of the second defect candidate image, when a value indicating a defective area is input from any of the AND operation units 631, a value indicating the defective area is output to the area filter unit 633, When a value indicating a non-defective region is input from the AND operation unit 631, a value indicating a non-defective region is output to the area filter unit 633.
  • an image is generated in which the value input from the OR operation unit 632 for each pixel of the second defect candidate image is used as the position value of the pixel.
  • a set of pixels that have a value indicating the defect area and are continuous with each other is specified as the defect area, and is included in the defect area when the area of the defect area is less than a predetermined area threshold value.
  • the value of the pixel is changed to a value indicating a non-defective area.
  • the value of the pixel in the defect region having an area equal to or larger than the area threshold value remains unchanged.
  • the control unit 60 it is confirmed whether or not all the selected imaging units are designated as the target imaging unit.
  • the other oblique imaging unit 32 is specified as the target imaging unit (step S13).
  • the four oblique imaging units 32 are arranged at an angular interval of 90 ° in the circumferential direction.
  • the area of the target 9 for which no area image has been acquired is the target area for the target imaging unit 32.
  • Step S14 When the target imaging unit 32 is specified, five first captured images obtained by illumination at ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° with respect to the target region are acquired in the same manner as described above.
  • Step S14 second captured images obtained by all illumination of ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° are acquired (step S15).
  • a first defect candidate image is generated by comparing each first captured image with a first reference image corresponding to the first captured image (step S16), and corresponds to the second captured image and the second captured image.
  • a second defect candidate image is generated by comparing with the second reference image (step S17).
  • a defect area image for the target area is acquired from each first defect candidate image and second defect candidate image (step S18).
  • the processing related to the acquisition of the defective area image is performed using all the selected imaging units as the target imaging unit (step S19). Thereby, a defect area image is acquired for each of the four target areas arranged at an angular interval of 90 ° in the circumferential direction in the target object 9.
  • the control unit 60 confirms whether or not the stage 2 has been rotated a predetermined number of times.
  • the stage rotating unit 21 rotates the stage 2 by 45 ° about the central axis J1 (step S21).
  • steps S13 to S18 are repeated (step S19).
  • a defect region image is acquired for each of the eight target regions arranged in the target object 9 at an angular interval of 45 ° in the circumferential direction.
  • the eight target regions are continuous over the entire circumference in the circumferential direction, defects in the object 9 are detected over the entire circumference in the circumferential direction.
  • the eight target regions may partially overlap each other.
  • the control unit 60 confirms that the stage 2 has been rotated a predetermined number of times, and the inspection of the object 9 is completed (step S20).
  • four oblique imaging units 32 are designated as selective imaging units, and ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, +90 with respect to each oblique imaging unit 32 that is the selective imaging unit.
  • the selected imaging unit and the specific light source unit group may be other combinations.
  • four side imaging units 33 are designated as selective imaging units, and angles of ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° with respect to each side imaging unit 33 that is the selective imaging unit.
  • a plurality of side light source units 43 may be used as the specific light source unit group for the oblique imaging unit 32 that is the selective imaging unit, and a plurality of oblique sources are used for the side imaging unit 33 that is the selective imaging unit.
  • the light source unit 42 may be used as a specific light source unit group.
  • the upper imaging unit 31 may be designated as the selected imaging unit, and the upper light source unit 41 may be used as one of the specific light source unit groups.
  • the specific light source unit group may include an upper light source unit 41, an oblique light source unit 42, and a side light source unit 43.
  • the number of light source units used as the specific light source unit group for each selected imaging unit is preferably 3 or more (for example, 5 or less).
  • various image pickup units are designated as selected image pickup units, and various plural light source units are used as specific light source unit groups for each selected image pickup unit, thereby enabling highly accurate defect detection. .
  • a plurality of light source units that respectively irradiate light from a plurality of directions to a target region that faces the imaging unit are provided, and one light source unit among the plurality of light source units is provided.
  • the first captured image is acquired by the imaging unit by irradiation of light from the second imaging unit
  • the second captured image is acquired by the imaging unit by irradiation of light from the plurality of light source units.
  • the first defect candidate region is detected by comparing the first captured image with the first reference image corresponding to the first captured image, and the second reference corresponding to the second captured image and the second captured image is detected.
  • the second defect candidate area is detected by comparing the image.
  • an overlapping area in the first defect candidate area and the second defect candidate area is specified as a defect area in the target area.
  • a plurality of first captured images are acquired by the imaging unit. Further, by comparing the plurality of first captured images and the plurality of first reference images corresponding to the plurality of first captured images, respectively, a plurality of first defect candidates each indicating a first defect candidate region. An image is generated. And the 1st defect candidate area
  • a plurality of first captured images are acquired using a plurality of light source units for one target region (imaging position of one imaging unit), and the target region is based on the plurality of first captured images.
  • the defect on the surface of the object 9 can be detected more stably (more reliably).
  • the inspection apparatus 1 by providing the upper imaging unit 31, the plurality of oblique imaging units 32, and the plurality of side imaging units 33, the blind spot in the object 9 can be reduced, and the inspection of the object 9 is performed. Reliability can be improved.
  • the inspection apparatus 1 can be variously modified.
  • the inspection apparatus 1 eight oblique imaging units 32 are provided at the same position as the eight oblique light source units 42, and eight side imaging units 33 are disposed at the same position as the eight side light source units 43. It may be provided. In this case, the defect of the object 9 can be detected in a short time over the entire circumference in the circumferential direction while omitting the rotation of the stage 2 in step S21 of FIG. Further, in order to reduce the manufacturing cost of the inspection apparatus 1, the two oblique imaging units 32 and the two side imaging units 33 are omitted in FIG.
  • the remaining two oblique imaging units 32 are provided at an angular interval of 180 ° in the circumferential direction, and the remaining two side imaging units 33 are provided at an angular interval of 180 ° in the circumferential direction.
  • the number of rotations of the stage 2 in step S20 is set to 3 times.
  • only one upper imaging unit 31, one oblique imaging unit 32, and one side imaging unit 33 are provided in the imaging unit 3, and the light source unit 4, only one upper light source unit 41, five oblique light source units 42 and five side light source units 43 may be provided.
  • the five oblique light source units 42 are arranged at angular positions of ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° with respect to the oblique imaging unit 32, and the five lateral light source units 43 are These are arranged at angular positions of ⁇ 90 °, ⁇ 45 °, 0 °, + 45 °, and + 90 ° with respect to the side imaging unit 33.
  • the number of rotations of the stage 2 in step S20 is set to 7 times.
  • the stage 2 may be fixed, and the imaging unit 3 and the light source unit 4 may rotate about the central axis J1.
  • a central axis J1 that faces in a direction other than the vertical direction (the direction of gravity) may be set.
  • only one of the first defect candidate image and the second defect candidate image is generated for one selected imaging unit, and the defect candidate area indicated by the defect candidate image is treated as a defect area. Also good.
  • a plurality of light source units that irradiate the target region with light from a plurality of directions are provided as the second illumination unit, and one of the plurality of light source units is the first illumination unit.
  • the 1st illumination part 51 and the 2nd illumination part 52 may be provided separately.
  • the first illumination unit 51 can irradiate light from only one direction on the target region on the surface of the object 9, and the second illumination unit 52 can irradiate light from a plurality of directions on the target region. It is.
  • the first illumination unit 51 is fixed to the upper surface of the imaging unit 30, and the second illumination unit 52 is fixed to the lower surface of the imaging unit 30.
  • the 2nd illumination part 52 several LED is arranged in the circular arc shape along the circumferential direction.
  • a plurality of first illumination units 51 that irradiate light from a plurality of different directions to the target region are provided, It is preferable that a plurality of first captured images indicating the target region are acquired using the plurality of first illumination units 51.
  • the 1st illumination part 51 is abbreviate
  • the first illumination unit emits light from substantially only one direction with respect to the target region, for example, the first illumination unit irradiates the target region with a plurality of light sources slightly separated (separated). It may be a thing. From the viewpoint of different imaging conditions (positions where false defect regions are generated) between the second captured image acquired using the second illumination unit and the first captured image acquired using the first illumination unit, It is preferable that the illumination direction of the light with respect to each position of the object area
  • the generation of the candidate image and the generation of the second defect candidate image from the second captured image have been described as being sequentially performed. For example, after the acquisition of the first captured image, the acquisition of the second captured image, and the first The generation of defect candidate images may be performed in parallel. Further, the first captured images of the plurality of target areas may be sequentially acquired by the plurality of selected imaging units, and then the second captured images of the plurality of target areas may be sequentially acquired. In this way, the processing flow of FIG. 4 can be changed as appropriate.
  • a plate-like or film-like object having a satin-like region on the surface may be inspected.
  • the inspection apparatus 1 is particularly suitable for inspecting an object having a satin-like region on the surface, which is a metal surface, but the appearance of an object having a satin-like region on the surface, which is the surface of a material other than metal, is on the surface.
  • the inspection apparatus 1 may inspect.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

　検査装置では、対象物（９）の表面における対象領域に対して複数の方向からそれぞれ光を照射する複数の光源部（４２，４３）が設けられ、複数の光源部のうちの一の光源部からの光の照射により一の撮像部（３２，３３）にて対象領域を示す第１撮像画像が取得され、複数の光源部からの光の照射により当該撮像部にて第２撮像画像が取得される。また、第１撮像画像と当該第１撮像画像に対応する第１参照画像とを比較することにより第１欠陥候補領域が検出され、第２撮像画像と当該第２撮像画像に対応する第２参照画像とを比較することにより第２欠陥候補領域が検出される。そして、第１欠陥候補領域および第２欠陥候補領域において重複する領域が、対象領域における欠陥領域として特定される。これにより、対象物の梨地状の表面における欠陥を精度よく検出することができる。

Description

検査装置および検査方法
　本発明は、表面に梨地状の領域を有する対象物の外観を検査する技術に関する。
　従来より、立体的な対象物に光を照射して撮像し、撮像画像に基づいて対象物の外観を検査する装置が利用されている。例えば、特開２００５－１７２３４号公報の外観検査装置では、電子回路基板上のドーム状半田の外観を検査する際に、ドーム状半田の左右両側から平行光が照射された状態で第１の画像が取得され、ドーム状半田の前後両側から平行光が照射された状態で第２の画像が取得される。そして、第１の画像データと第２の画像データとの差の絶対値である合成画像が求められ、合成画像上に帯状の陰が放射状に存在する場合、ドーム状半田へのチップ部品の搭載不良が検出される。
　また、特開２００９－１６２５７３号公報の形状認識装置では、被検査物を撮像するカメラと、カメラを中心として回転する照明部とが設けられ、照明部の照明角度を変更しつつ被検査物の撮像が順次行われる。当該形状認識装置では、照明角度の変化に従って、被検査物上の突起（不良形状）の影が変化するため、突起の形状を推定することが可能となる。
　一方、鍛造や鋳造により形成された金属部品（例えば自動車部品）では、ショットブラスト等による表面加工が行われており、その表面は、微小な凹凸が分布した梨地状の立体構造となっている。このような金属部品を対象物とする外観検査では、作業者の目視により、対象物表面の打痕や傷等の欠陥が検出される。
　ところで、作業者による上記対象物の検査では、検査基準が定められていても、検査の精度は作業者間でばらついてしまう。また、人為的ミスにより、対象物における欠陥を見逃してしまう可能性がある。対象物の撮像画像に基づいて欠陥を検出する場合、梨地状の表面に入射する光が拡散反射（乱反射）するため、撮像画像における階調値のばらつき（濃淡の局所的な変化）が大きくなり、多くの偽欠陥が検出されてしまう。
　本発明は、表面に梨地状の領域を有する対象物の外観を検査する検査装置に向けられており、対象物の梨地状の表面における欠陥を精度よく検出することを目的としている。
　本発明に係る検査装置は、対象物の表面における所定の対象領域に対して一の方向のみから光を照射する第１照明部と、前記対象領域に対して複数の方向から光を照射する第２照明部と、前記対象領域を撮像する撮像部と、前記第１照明部からの光の照射により前記撮像部にて取得される第１撮像画像と前記第１撮像画像に対応する第１参照画像とを比較することにより、前記対象領域における欠陥候補の領域を第１欠陥候補領域として検出し、前記第２照明部からの光の照射により前記撮像部にて取得される第２撮像画像と前記第２撮像画像に対応する第２参照画像とを比較することにより、前記対象領域における欠陥候補の領域を第２欠陥候補領域として検出する欠陥候補検出部と、前記第１欠陥候補領域および前記第２欠陥候補領域において重複する領域を、前記対象領域における欠陥領域として特定する欠陥特定部とを備える。
　本発明によれば、対象物の梨地状の表面における欠陥を精度よく検出することができる。
　本発明の一の好ましい形態では、前記第２照明部が、前記対象領域に対して複数の方向からそれぞれ光を照射する複数の光源部を有し、前記複数の光源部のうちの一の光源部が、前記第１照明部である。
　この場合に、好ましくは、検査装置が、前記複数の光源部のそれぞれを前記第１照明部として順次用いることにより、前記撮像部に複数の第１撮像画像を取得させる制御部をさらに備え、前記欠陥候補検出部が、前記複数の第１撮像画像と、前記複数の第１撮像画像に対応する複数の第１参照画像とをそれぞれ比較することにより、それぞれが第１欠陥候補領域を示す複数の第１欠陥候補画像を生成し、前記欠陥特定部が、各第１欠陥候補画像が示す前記第１欠陥候補領域、および、前記第２欠陥候補領域において重複する領域を、前記対象領域における欠陥領域として特定する。より好ましくは、前記複数の光源部の個数が３以上である。
　本発明は、表面に梨地状の領域を有する対象物の外観を検査する検査方法にも向けられている。本発明に係る検査方法は、ａ）対象物の表面における所定の対象領域に対して、第１照明部により一の方向のみから光を照射しつつ、前記対象領域を撮像する撮像部にて第１撮像画像を取得する工程と、ｂ）前記対象領域に対して第２照明部により複数の方向から光を照射しつつ、前記撮像部にて第２撮像画像を取得する工程と、ｃ）前記第１撮像画像と前記第１撮像画像に対応する第１参照画像とを比較することにより、前記対象領域における欠陥候補の領域を第１欠陥候補領域として検出する工程と、ｄ）前記第２撮像画像と前記第２撮像画像に対応する第２参照画像とを比較することにより、前記対象領域における欠陥候補の領域を第２欠陥候補領域として検出する工程と、ｅ）前記第１欠陥候補領域および前記第２欠陥候補領域において重複する領域を、前記対象領域における欠陥領域として特定する工程とを備える。
　上述の目的および他の目的、特徴、態様および利点は、添付した図面を参照して以下に行うこの発明の詳細な説明により明らかにされる。
検査装置の構成を示す図である。 検査装置の本体を示す平面図である。 コンピュータが実現する機能構成を示すブロック図である。 対象物の検査の処理の流れを示す図である。 第１撮像画像を示す図である。 第１撮像画像を示す図である。 第１撮像画像を示す図である。 第２撮像画像を示す図である。 欠陥候補検出部の構成を示す図である。 第１欠陥候補画像を示す図である。 第２欠陥候補画像を示す図である。 欠陥特定部の構成を示す図である。 欠陥領域画像を示す図である。 検査装置の他の例を示す図である。
　図１は、本発明の一の実施の形態に係る検査装置１の構成を示す図である。図２は、検査装置１の本体１１を示す平面図である。検査装置１は、表面に光沢を有する立体的な対象物９の外観を検査する装置である。対象物９は、例えば、鍛造や鋳造により形成された金属部品であり、その表面は微小な凹凸を有する梨地状である。対象物９は、例えば、自在継手に用いられる各種部品（円筒形のハブの軸や外輪、ヨーク等）である。
　図１に示すように、検査装置１は、本体１１と、コンピュータ１２とを備える。本体１１は、ステージ２と、ステージ回動部２１と、撮像ユニット３と、光源ユニット４とを備える。対象物９はステージ２上に載置される。ステージ回動部２１は、上下方向を向く中心軸Ｊ１を中心として対象物９をステージ２と共に所定の角度だけ回動する。中心軸Ｊ１は、ステージ２の中央を通過する。本体１１には、外部の光がステージ２上に到達することを防止する図示省略の遮光カバーが設けられ、ステージ２、撮像ユニット３および光源ユニット４は、遮光カバー内に設けられる。
　図１および図２に示すように、撮像ユニット３は、１個の上方撮像部３１と、４個の斜方撮像部３２と、４個の側方撮像部３３とを備える。図２では、上方撮像部３１の図示を省略している（後述の上方光源部４１において同様）。上方撮像部３１は、ステージ２の上方にて中心軸Ｊ１上に配置される。上方撮像部３１によりステージ２上の対象物９を真上から撮像した画像が取得可能である。
　図２に示すように、上側から下方を向いて本体１１を見た場合に（すなわち、本体１１を平面視した場合に）、４個の斜方撮像部３２はステージ２の周囲に配置される。４個の斜方撮像部３２は、中心軸Ｊ１を中心とする周方向に９０°の角度間隔（ピッチ）にて配列される。各斜方撮像部３２の撮像光軸Ｋ２と中心軸Ｊ１とを含む面において（図１参照）、撮像光軸Ｋ２と中心軸Ｊ１とがなす角度θ２は、およそ４５°である。各斜方撮像部３２によりステージ２上の対象物９を斜め上から撮像した画像が取得可能である。
　本体１１を平面視した場合に、４個の側方撮像部３３も、４個の斜方撮像部３２と同様にステージ２の周囲に配置される。４個の側方撮像部３３は、周方向に９０°の角度間隔にて配列される。各側方撮像部３３の撮像光軸Ｋ３と中心軸Ｊ１とを含む面において、撮像光軸Ｋ３と中心軸Ｊ１とがなす角度θ３は、およそ９０°である。各側方撮像部３３によりステージ２上の対象物９を横から撮像した画像が取得可能である。上方撮像部３１、斜方撮像部３２および側方撮像部３３は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等を有し、多階調の画像が取得される。上方撮像部３１、斜方撮像部３２および側方撮像部３３は、図示省略の支持部により支持される。
　光源ユニット４は、１個の上方光源部４１と、８個の斜方光源部４２と、８個の側方光源部４３とを備える。上方光源部４１は、中心軸Ｊ１を中心とするリング状に複数のＬＥＤ（発光ダイオード）が配列された光源部である。リング状の上方光源部４１は上方撮像部３１の周囲を囲むように、上方撮像部３１に固定される。上方光源部４１によりステージ２上の対象物９に対して真上から中心軸Ｊ１に平行な方向に沿って光が照射可能である。
　本体１１を平面視した場合に、８個の斜方光源部４２はステージ２の周囲に配置される。８個の斜方光源部４２は、周方向に４５°の角度間隔にて配列される。各斜方光源部４２は、中心軸Ｊ１を中心とする円周の接線方向に伸びるバー状に複数のＬＥＤが配列された光源部である。各斜方光源部４２の出射面の中央と対象物９（の中心）とを結ぶ線を「照明軸」と呼ぶと、当該斜方光源部４２の照明軸と中心軸Ｊ１とを含む面において、当該照明軸と中心軸Ｊ１とがなす角度は、およそ４５°である。各斜方光源部４２では、ステージ２上の対象物９に対して斜め上から当該照明軸に沿って光が照射可能である。検査装置１では、８個の斜方光源部４２のうち４個の斜方光源部４２は４個の斜方撮像部３２にそれぞれ固定され、残りの４個の斜方光源部４２は、図示省略の支持部により支持される。
　本体１１を平面視した場合に、８個の側方光源部４３はステージ２の周囲に配置される。８個の側方光源部４３は、周方向に４５°の角度間隔にて配列される。各側方光源部４３は、中心軸Ｊ１を中心とする円周の接線方向に伸びるバー状に複数のＬＥＤが配列された光源部である。斜方光源部４２と同様に、各側方光源部４３の出射面の中央と対象物９とを結ぶ線を「照明軸」と呼ぶと、当該側方光源部４３の照明軸と中心軸Ｊ１とを含む面において、当該照明軸と中心軸Ｊ１とがなす角度は、およそ９０°である。各側方光源部４３では、ステージ２上の対象物９に対して横から当該照明軸に沿って光が照射可能である。検査装置１では、８個の側方光源部４３のうち４個の側方光源部４３は４個の側方撮像部３３にそれぞれ固定され、残りの４個の側方光源部４３は、図示省略の支持部により支持される。
　例えば、上方撮像部３１および上方光源部４１と対象物９との間の距離は、約５５ｃｍ（センチメートル）である。また、斜方撮像部３２および斜方光源部４２と対象物９との間の距離は約５０ｃｍであり、側方撮像部３３および側方光源部４３と対象物９との間の距離は約４０ｃｍである。上方光源部４１、斜方光源部４２および側方光源部４３では、ＬＥＤ以外の種類の光源が用いられてよい。
　図３は、コンピュータ１２が実現する機能構成を示すブロック図である。図３では、本体１１の構成（ステージ回動部２１、撮像ユニット３および光源ユニット４）もブロックにて示している。コンピュータ１２は、制御部６０と、欠陥検出部６１とを備える。制御部６０は、検査装置１の全体制御を担う。欠陥検出部６１は、欠陥候補検出部６２と、欠陥特定部６３とを備える。欠陥候補検出部６２は、撮像ユニット３にて取得される撮像画像に基づいて欠陥候補領域を検出する。欠陥特定部６３は、欠陥候補領域から真欠陥を示す欠陥領域を特定する。欠陥候補検出部６２および欠陥特定部６３の詳細については、後述する。
　図４は、検査装置１による対象物９の検査の処理の流れを示す図である。まず、ステージ２上に検査対象の対象物９が載置される（ステップＳ１１）。ステージ２上には、例えば位置合わせ用の複数のピンが設けられており、対象物９の予め定められた部位を当該複数のピンに当接させることにより、ステージ２上の所定位置に対象物９が所定の向きにて配置される。続いて、制御部６０では、操作者による入力等に基づいて、ステージ２上の対象物９に対する撮像設定情報が取得される（ステップＳ１２）。ここで、撮像設定情報は、撮像ユニット３において使用する撮像部（以下、「選択撮像部」という。）と、当該選択撮像部による撮像画像の取得の際に光源ユニット４において点灯する光源部とを示す。
　本処理例における撮像設定情報は、撮像ユニット３における４個の斜方撮像部３２を選択撮像部として使用することを示す。また、当該撮像設定情報は、選択撮像部である各斜方撮像部３２に対して、当該斜方撮像部３２と同じ位置の斜方光源部４２、当該斜方光源部４２に対して時計回りに隣接する２個の斜方光源部４２、および、反時計回りに隣接する２個の斜方光源部４２（以下、これらの斜方光源部４２を「特定光源部群」という。）のそれぞれを点灯する画像取得、並びに、特定光源部群の全てを点灯する画像取得を指示する。上側から下方を向いて本体１１を見た場合に、各斜方撮像部３２に対する特定光源部群に含まれる５個の斜方光源部４２の照明軸は、当該斜方撮像部３２の撮像光軸Ｋ２に対してそれぞれ－９０°、－４５°、０°、＋４５°、＋９０°だけ傾斜する。すなわち、当該５個の斜方光源部４２は、中心軸Ｊ１を中心とする周方向において当該斜方撮像部３２に対してそれぞれ－９０°、－４５°、０°、＋４５°、＋９０°の角度位置に位置する。
　対象物９に対する撮像設定情報が取得されると、それぞれが選択撮像部である複数の斜方撮像部３２のうち、一の斜方撮像部３２が注目撮像部として指定される（ステップＳ１３）。続いて、注目撮像部３２に対する特定光源部群のうち一の斜方光源部４２のみを点灯しつつ、注目撮像部３２にて撮像画像が取得される。このとき、対象物９の表面において注目撮像部３２におよそ対向する領域を「対象領域」として、対象領域に対して当該斜方光源部４２からその照明軸に沿って光が照射される。このように、対象領域に対して、特定光源部群に含まれる一の斜方光源部４２により一の方向のみから光を照射しつつ、注目撮像部３２により対象領域が撮像される。以下の説明では、一の光源部のみからの光の照射により注目撮像部にて取得される撮像画像を「第１撮像画像」と呼び、第１撮像画像の取得の際に対象領域に光を照射する光源部を「第１照明部」と呼ぶ。一の方向のみからの光の照射により取得される第１撮像画像では、対象領域の微小な凹凸による影が生じやすい。
　検査装置１では、制御部６０の制御により、特定光源部群に含まれる複数の斜方光源部４２のそれぞれを第１照明部として順次用いることにより、注目撮像部３２において複数の第１撮像画像が取得される（ステップＳ１４）。既述のように、特定光源部群は、注目撮像部３２に対して－９０°、－４５°、０°、＋４５°、＋９０°の角度位置の斜方光源部４２を含む。注目撮像部に対してＮ°の角度位置の光源部を第１照明部として取得される第１撮像画像を「Ｎ°の照明による第１撮像画像」と呼ぶと、上記ステップＳ１４では、－９０°の照明による第１撮像画像、－４５°の照明による第１撮像画像、０°の照明による第１撮像画像、＋４５°の照明による第１撮像画像、および、＋９０°の照明による第１撮像画像が取得される。特定光源部群に含まれる複数の斜方光源部４２は、複数の第１撮像画像の取得に用いられる複数の第１照明部と捉えることが可能である。なお、特定光源部群に含まれる各斜方光源部４２は必ずしも対象領域の全体に光を照射する訳ではなく、例えば、－９０°の角度位置の斜方光源部４２は、対象領域のおよそ半分に光を照射する。第１照明部として用いられる光源部は、対象領域において光の照射が可能な領域の各位置に対して一の方向のみから光を照射すればよい。
　続いて、注目撮像部３２に対する特定光源部群に含まれる全ての斜方光源部４２を点灯しつつ、注目撮像部３２にて撮像画像が取得される（ステップＳ１５）。このとき、注目撮像部３２に対して－９０°、－４５°、０°、＋４５°、＋９０°の角度位置の複数の斜方光源部４２から、照明軸に沿って対象領域に対して光が照射される。このように、対象領域に対して、複数の斜方光源部４２により互いに異なる複数の方向から光を照射しつつ、注目撮像部３２により対象領域が撮像される。以下の説明では、特定光源部群に含まれる全ての光源部からの光の照射により注目撮像部にて取得される撮像画像を「第２撮像画像」と呼び、第２撮像画像の取得の際に対象物９に光を照射する全ての光源部の集合を「第２照明部」と呼ぶ。
　既述のように、特定光源部群に含まれる各斜方光源部４２が必ずしも対象領域の全体に光を照射する訳ではないが、第２照明部により対象領域の各位置には、少なくとも２個の斜方光源部４２から、すなわち、少なくとも２方向から光が照射される。本処理例では、対象領域の各位置には、少なくとも３個の斜方光源部から光が照射される。複数の方向からの光の照射により取得される第２撮像画像では、対象領域の微小な凹凸による影が生じにくい。検査装置１では、特定光源部群に含まれる複数の斜方光源部４２から出射される光の強度はほぼ同じである。また、第２撮像画像の取得の際における各斜方光源部４２からの光の強度は、第１撮像画像の取得の際における当該斜方光源部４２からの光の強度よりも小さい。
　図５ないし図７は、第１撮像画像の一例を示す図である。図５は－９０°の照明による第１撮像画像を示し、図６は－４５°の照明による第１撮像画像を示し、図７は０°の照明による第１撮像画像を示す。図８は、第２撮像画像の一例を示す図である。既述のように、第２照明部からの光の照射、すなわち、－９０°、－４５°、０°、＋４５°、＋９０°の全ての照明により、第２撮像画像は取得される。図５ないし図８では、対象物９の背景を示す領域に平行斜線を付している。
　ここで、撮像画像において対象領域における凹状または凸状の欠陥（例えば、梨地状の表面における微小な凹凸よりも十分に大きい凹状または凸状の欠陥）を示す欠陥領域では、通常、ある方向から照射される光により、周囲の領域に対する明るさの相違が大きくなる。また、欠陥の形状（凹みの角度等）によっては、他の方向から照射される光では、周囲の領域に対する欠陥領域の明るさの相違が僅かとなる。図５ないし図８の例では、－４５°の照明により欠陥領域が、周囲の領域に対して区別可能な明るさとなり、他の方向の照明では、欠陥領域が区別困難である。したがって、－４５°の照明による図６の第１撮像画像、および、－９０°、－４５°、０°、＋４５°、＋９０°の全ての照明による図８の第２撮像画像において、欠陥領域（後述の偽欠陥領域と区別するため、以下、「真欠陥領域」という。）が周囲の領域に対して区別可能な明るさとなる。また、複数の第１撮像画像および第２撮像画像では、対象領域の梨地状の表面に起因して、周囲の領域に対して明るさが相違する領域、すなわち、偽欠陥領域が存在する。第２撮像画像では、第１撮像画像と照明の状態が異なるため、偽欠陥領域が生じる位置が第１撮像画像と異なる。
　図６の第１撮像画像および図８の第２撮像画像では、真欠陥領域７１および偽欠陥領域７２を黒く塗りつぶしている。実際には、現段階における真欠陥領域および偽欠陥領域の区別は不能である。もちろん、他の第１撮像画像においても、偽欠陥領域７２は生じ得る。特定光源部群に含まれる各斜方光源部４２の照明による複数の第１撮像画像、並びに、特定光源部群に含まれる全ての斜方光源部４２の照明による第２撮像画像は、欠陥検出部６１の欠陥候補検出部６２に入力される。
　図９は、欠陥候補検出部６２の構成を示す図である。欠陥候補検出部６２では、各第１撮像画像に対応する第１参照画像、および、第２撮像画像に対応する第２参照画像が予め記憶される。ここで、各第１撮像画像に対応する第１参照画像は、当該第１撮像画像と同様の条件にて取得され、かつ、欠陥を含まない対象領域を示す画像である。第１参照画像は、例えば、欠陥を含まない対象物に対して上記ステップＳ１４と同様の処理を行うことにより取得され、欠陥候補検出部６２にて記憶される。各第１撮像画像に対して所定の処理を行うことにより、当該第１撮像画像に対応する第１参照画像が生成されてもよい。第２撮像画像に対応する第２参照画像も同様である。欠陥候補検出部６２では、複数の第１撮像画像および第２撮像画像に対して同じ処理が行われるため、以下の説明では、複数の第１撮像画像および第２撮像画像のそれぞれを単に「撮像画像」と呼び、当該撮像画像に対応する第１または第２参照画像を単に「参照画像」と呼ぶ。
　２つのフィルタ処理部６２１では、撮像画像および参照画像に対してメディアンフィルタやガウスフィルタ等のノイズを除去するフィルタ処理がそれぞれ行われ、フィルタ処理済みの撮像画像および参照画像は、プリアライメント部６２２に入力される。プリアライメント部６２２では、所定のパターンを利用したパターンマッチングにより、（フィルタ処理済みの）撮像画像の参照画像に対する相対的な位置および角度のずれ量が特定される。そして、両画像の間における位置および角度のずれ量だけ、撮像画像を参照画像に対して平行移動および回転することにより、撮像画像の位置および角度が参照画像に合わせられる（すなわち、プリアライメントが行われる。）。
　ゆすらせ比較部６２３では、撮像画像を、参照画像に対するプリアライメント済みの位置から、２次元配列された複数の位置のそれぞれに移動する際における移動後の撮像画像と参照画像との差異を示す評価値（例えば、両画像が重なる領域における画素の値の差（絶対値）の和）が求められる。そして、評価値が最小となる位置における両画像の画素の値の差（絶対値）を示す画像が、所定の閾値にて二値化され、二値の欠陥候補画像が出力される。以上のように、欠陥候補検出部６２では、各撮像画像と当該撮像画像に対応する参照画像とを比較することにより、対象領域における欠陥候補の領域（以下、「欠陥候補領域」という。）を示す欠陥候補画像が生成される。換言すると、撮像画像に基づいて対象領域における欠陥候補領域が検出される。
　上記処理は、複数の第１撮像画像および第２撮像画像の全てに対して行われる。以上のように、欠陥候補検出部６２では、各第１撮像画像と当該第１撮像画像に対応する第１参照画像とを比較することにより、第１欠陥候補領域を示す第１欠陥候補画像が生成され、第１欠陥候補領域が検出される（ステップＳ１６）。また、第２撮像画像と当該第２撮像画像に対応する第２参照画像とを比較することにより、第２欠陥候補領域を示す第２欠陥候補画像が生成され、第２欠陥候補領域が検出される（ステップＳ１７）。Ｎ°の照明による第１撮像画像から取得される第１欠陥候補画像を、「Ｎ°の照明による第１欠陥候補画像」と呼ぶと、上記ステップＳ１６では、－９０°の照明による第１欠陥候補画像、－４５°の照明による第１欠陥候補画像、０°の照明による第１欠陥候補画像、＋４５°の照明による第１欠陥候補画像、および、＋９０°の照明による第１欠陥候補画像が取得される。
　図１０は、図６の第１撮像画像から導かれる－４５°の照明による第１欠陥候補画像を示す図であり、図１１は、図８の第２撮像画像から導かれる－９０°、－４５°、０°、＋４５°、＋９０°の全ての照明による第２欠陥候補画像を示す図である。図１０の第１欠陥候補画像は、図６の真欠陥領域７１および偽欠陥領域７２を第１欠陥候補領域７３として示す二値画像である。図１１の第２欠陥候補画像は、図８の真欠陥領域７１および偽欠陥領域７２を第２欠陥候補領域７４として示す二値画像である。複数の第１欠陥候補画像および第２欠陥候補画像は、欠陥特定部６３に出力される。
　図１２は、欠陥特定部６３の構成を示す図である。複数の論理積演算部６３１には、それぞれ－９０°、－４５°、０°、＋４５°、＋９０°の照明による複数の第１欠陥候補画像の画素の値が順次入力される。また、複数の論理積演算部６３１には、第２欠陥候補画像の画素の値も順次入力される。そして、各論理積演算部６３１では、第２欠陥候補画像の各画素の値と、第１欠陥候補画像の対応する画素の値との論理積が求められ、論理和演算部６３２に出力される。したがって、各論理積演算部６３１では、第２欠陥候補画像と第１欠陥候補画像とを正確に重ねた場合に、第２欠陥候補領域７４と第１欠陥候補領域７３とが重なる領域の画素に対して、欠陥領域を示す値が出力される。また、第２欠陥候補領域７４と第１欠陥候補領域７３とが重ならない領域の画素に対して、非欠陥領域を示す値が出力される。このようにして、第２欠陥候補領域７４および第１欠陥候補領域７３において重複する領域が、対象領域における欠陥領域として実質的に特定される。
　論理和演算部６３２では、第２欠陥候補画像の各画素に対して複数の論理積演算部６３１から入力される値の論理和が求められ、面積フィルタ部６３３に出力される。すなわち、第２欠陥候補画像の各画素に対して、いずれかの論理積演算部６３１から欠陥領域を示す値が入力される場合に、欠陥領域を示す値が面積フィルタ部６３３に出力され、全ての論理積演算部６３１から非欠陥領域を示す値が入力される場合に、非欠陥領域を示す値が面積フィルタ部６３３に出力される。面積フィルタ部６３３では、第２欠陥候補画像の各画素に対して論理和演算部６３２から入力される値を、当該画素の位置の値とする画像が生成される。そして、当該画像において、欠陥領域を示す値を有するとともに、互いに連続する画素の集合が欠陥領域として特定され、当該欠陥領域の面積が所定の面積閾値未満である場合に、当該欠陥領域に含まれる画素の値が非欠陥領域を示す値に変更される。面積閾値以上の面積を有する欠陥領域の画素の値はそのままである。これにより、図１３に示すように、最終的な欠陥領域７５を示す欠陥領域画像が、注目撮像部３２の対象領域に対して取得される（ステップＳ１８）。最終的な欠陥領域７５の位置は、図６および図８の真欠陥領域７１に一致する。
　制御部６０では、全ての選択撮像部が注目撮像部として指定されたか否かが確認される。ここでは、注目撮像部として未指定の選択撮像部が存在するため（ステップＳ１９）、他の一の斜方撮像部３２が注目撮像部として指定される（ステップＳ１３）。既述のように、上側から下方を向いて本体１１を見た場合に（図２参照）、４個の斜方撮像部３２は周方向に９０°の角度間隔にて配列されるため、欠陥領域画像が取得されていない対象物９の領域が、注目撮像部３２に対する対象領域となる。
　注目撮像部３２が指定されると、上記と同様にして、対象領域に対して－９０°、－４５°、０°、＋４５°、＋９０°の照明による５個の第１撮像画像が取得され（ステップＳ１４）、続いて、－９０°、－４５°、０°、＋４５°、＋９０°の全ての照明による第２撮像画像が取得される（ステップＳ１５）。各第１撮像画像と当該第１撮像画像に対応する第１参照画像とを比較することにより第１欠陥候補画像が生成され（ステップＳ１６）、第２撮像画像と当該第２撮像画像に対応する第２参照画像とを比較することにより第２欠陥候補画像が生成される（ステップＳ１７）。そして、各第１欠陥候補画像および第２欠陥候補画像から、対象領域に対する欠陥領域画像が取得される（ステップＳ１８）。
　検査装置１では、全ての選択撮像部を注目撮像部として、上記欠陥領域画像の取得に係る処理が行われる（ステップＳ１９）。これにより、対象物９において周方向に９０°の角度間隔にて並ぶ４個の対象領域のそれぞれに対して、欠陥領域画像が取得される。
　続いて、制御部６０では、ステージ２を所定回数だけ回動したか否かが確認される。ここでは、ステージ２の回動を行っていないため（ステップＳ２０）、ステージ回動部２１がステージ２を中心軸Ｊ１を中心として４５°だけ回動する（ステップＳ２１）。これにより、上記４個の対象領域のうち周方向に互いに隣接する２個の対象領域の各組合せにおいて、当該２個の対象領域の間の領域が、いずれかの斜方撮像部３２と対向する。そして、上記と同様に、ステップＳ１３～Ｓ１８が繰り返される（ステップＳ１９）。その結果、対象物９において周方向に４５°の角度間隔にて並ぶ８個の対象領域のそれぞれに対して、欠陥領域画像が取得される。８個の対象領域は、周方向の全周に亘って連続するため、周方向の全周に亘って対象物９の欠陥が検出される。８個の対象領域は、相互に部分的に重なっていてもよい。制御部６０では、ステージ２を所定回数だけ回動したことが確認され、対象物９の検査が完了する（ステップＳ２０）。
　上記処理例では、４個の斜方撮像部３２を選択撮像部として指定し、選択撮像部である各斜方撮像部３２に対して－９０°、－４５°、０°、＋４５°、＋９０°の角度位置に位置する斜方光源部４２を特定光源部群として利用する場合について説明したが、選択撮像部および特定光源部群は他の組合せであってよい。例えば、４個の側方撮像部３３を選択撮像部として指定し、選択撮像部である各側方撮像部３３に対して－９０°、－４５°、０°、＋４５°、＋９０°の角度位置に位置する側方光源部４３を特定光源部群として利用してもよい。また、選択撮像部である斜方撮像部３２に対して複数の側方光源部４３が特定光源部群として利用されてよく、選択撮像部である側方撮像部３３に対して複数の斜方光源部４２が特定光源部群として利用されてよい。
　さらに、上方撮像部３１が選択撮像部として指定されてよく、上方光源部４１が特定光源部群の一つとして利用されてよい。対象物９の種類によっては、選択撮像部に対して－４５°、０°、＋４５°の角度位置に位置する光源部のみが特定光源部群として利用されてよい。特定光源部群が、上方光源部４１、斜方光源部４２および側方光源部４３を含んでもよい。各選択撮像部に対して特定光源部群として利用される光源部の個数は、３以上（例えば、５以下）であることが好ましい。検査装置１では、様々な撮像部を選択撮像部として指定し、各選択撮像部に対して様々な複数の光源部を特定光源部群として利用することにより、高精度な欠陥検出が可能となる。
　以上に説明したように、検査装置１では、撮像部に対向する対象領域に対して複数の方向からそれぞれ光を照射する複数の光源部が設けられ、複数の光源部のうちの一の光源部からの光の照射により撮像部にて第１撮像画像が取得され、複数の光源部からの光の照射により撮像部にて第２撮像画像が取得される。また、第１撮像画像と当該第１撮像画像に対応する第１参照画像とを比較することにより第１欠陥候補領域が検出され、第２撮像画像と当該第２撮像画像に対応する第２参照画像とを比較することにより第２欠陥候補領域が検出される。そして、第１欠陥候補領域および第２欠陥候補領域において重複する領域が、対象領域における欠陥領域として特定される。これにより、対象物９の梨地状の表面における微小な凹凸に起因する第１および第２欠陥候補領域における偽欠陥領域を適切に除去して、対象物９の表面における欠陥（真欠陥）を精度よく検出することができる。
　また、対象物９の検査では、複数の光源部のそれぞれを順次用いることにより、撮像部にて複数の第１撮像画像が取得される。また、当該複数の第１撮像画像と、当該複数の第１撮像画像に対応する複数の第１参照画像とをそれぞれ比較することにより、それぞれが第１欠陥候補領域を示す複数の第１欠陥候補画像が生成される。そして、各第１欠陥候補画像が示す第１欠陥候補領域、および、第２欠陥候補領域において重複する領域が、対象領域における欠陥領域として特定される。このように、一の対象領域（一の撮像部の撮像位置）に対して複数の光源部を用いて複数の第１撮像画像を取得し、当該複数の第１撮像画像に基づいて当該対象領域の欠陥領域を検出することにより、対象物９の表面における欠陥をより安定して（より確実に）検出することができる。
　検査装置１では、上方撮像部３１、複数の斜方撮像部３２、および、複数の側方撮像部３３が設けられることにより、対象物９における死角を低減することができ、対象物９の検査の信頼性を向上することができる。
　上記検査装置１では様々な変形が可能である。
　検査装置１では、８個の斜方光源部４２と同じ位置に８個の斜方撮像部３２が設けられ、８個の側方光源部４３と同じ位置に８個の側方撮像部３３が設けられてもよい。この場合、図４のステップＳ２１におけるステージ２の回動を省略しつつ、周方向の全周に亘って対象物９の欠陥を短時間に検出することが可能となる。また、検査装置１の製造コストを削減する場合には、図２において２個の斜方撮像部３２および２個の側方撮像部３３が省略される。この場合、残りの２個の斜方撮像部３２が周方向に１８０°の角度間隔にて設けられ、残りの２個の側方撮像部３３が周方向に１８０°の角度間隔にて設けられる。また、ステップＳ２０におけるステージ２の回動回数は３回に設定される。
　検査装置１の製造コストをさらに削減する場合には、撮像ユニット３において１個の上方撮像部３１、１個の斜方撮像部３２および１個の側方撮像部３３のみが設けられ、光源ユニット４において、１個の上方光源部４１、５個の斜方光源部４２および５個の側方光源部４３のみが設けられてよい。５個の斜方光源部４２は、斜方撮像部３２に対して－９０°、－４５°、０°、＋４５°、＋９０°の角度位置に配置され、５個の側方光源部４３は、側方撮像部３３に対して－９０°、－４５°、０°、＋４５°、＋９０°の角度位置に配置される。この場合、ステップＳ２０におけるステージ２の回動回数は７回に設定される。
　検査装置１では、ステージ２が固定され、撮像ユニット３および光源ユニット４が中心軸Ｊ１を中心として回動してもよい。また、上下方向（重力方向）以外の方向を向く中心軸Ｊ１が設定されてよい。
　対象物９の種類によっては、一の選択撮像部に対して第１欠陥候補画像または第２欠陥候補画像の一方のみが生成され、当該欠陥候補画像が示す欠陥候補領域が欠陥領域として扱われてもよい。
　上記検査装置１では、対象領域に対して複数の方向からそれぞれ光を照射する複数の光源部が第２照明部として設けられ、当該複数の光源部のうちの一の光源部が第１照明部として扱われるが、図１４に示すように、第１照明部５１と第２照明部５２とが個別に設けられてもよい。第１照明部５１は、対象物９の表面における対象領域に対して一の方向のみから光を照射可能であり、第２照明部５２は、対象領域に対して複数の方向から光を照射可能である。図１４の例では、第１照明部５１は撮像部３０の上面に固定され、第２照明部５２は撮像部３０の下面に固定される。第２照明部５２では、周方向に沿う円弧状に複数のＬＥＤが配列される。欠陥をより安定して検出するには、図１４中に二点鎖線にて示すように、対象領域に対して互いに異なる複数の方向から光を照射する複数の第１照明部５１が設けられ、複数の第１照明部５１を用いて対象領域を示す複数の第１撮像画像が取得されることが好ましい。また、第１照明部５１が省略され、第２照明部５２において互いに連続する数個のＬＥＤのみを第１照明部として点灯することにより、対象領域に対して一の方向のみから光を照射することも可能である。この場合、第２照明部５２では、それぞれが互いに連続する数個のＬＥＤである複数の光源部が周方向に並んでいると捉えることができる。
　第１照明部は、対象領域に対して実質的に一の方向のみから光を照射するものであるならば、例えば、僅かに離れた（分離した）複数の光源から対象領域に光を照射するものであってもよい。第２照明部を用いて取得される第２撮像画像と、第１照明部を用いて取得される第１撮像画像とにおいて撮像条件（偽欠陥領域が生じる位置）を相違させるという観点では、第２照明部による対象領域の各位置に対する光の照明方向は、４５度以上離れた２方向を含むことが好ましく、６０度以上離れた２方向を含むことがより好ましい。
　図４の処理の流れでは、理解を容易にするため、一の注目撮像部による第１撮像画像の取得、当該注目撮像部による第２撮像画像の取得、当該第１撮像画像からの第１欠陥候補画像の生成、当該第２撮像画像からの第２欠陥候補画像の生成が順次行われるものとして説明したが、例えば、第１撮像画像の取得後、第２撮像画像の取得、および、第１欠陥候補画像の生成が並行して行われてもよい。また、複数の選択撮像部により複数の対象領域の第１撮像画像が順次取得され、続いて、当該複数の対象領域の第２撮像画像が順次取得されてもよい。このように、図４の処理の流れは、適宜変更可能である。
　検査装置１では、表面に梨地状の領域を有する板状またはフィルム状の対象物の検査が行われてよい。検査装置１は、金属の表面である梨地状の領域を表面に有する対象物の検査に特に適しているが、金属以外の材料の表面である梨地状の領域を表面に有する対象物の外観が検査装置１にて検査されてよい。
　上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
　発明を詳細に描写して説明したが、既述の説明は例示的であって限定的なものではない。したがって、本発明の範囲を逸脱しない限り、多数の変形や態様が可能であるといえる。
　１　　検査装置
　９　　対象物
　３０～３３　　撮像部
　４１～４３　　光源部
　５１　　第１照明部
　５２　　第２照明部
　６０　　制御部
　６２　　欠陥候補検出部
　６３　　欠陥特定部
　７３　　第１欠陥候補領域
　７４　　第２欠陥候補領域
　７５　　欠陥領域
　Ｓ１１～Ｓ２１　　ステップ

Claims (8)

  1. 　表面に梨地状の領域を有する対象物の外観を検査する検査装置であって、
    　対象物の表面における所定の対象領域に対して一の方向のみから光を照射する第１照明部と、
    　前記対象領域に対して複数の方向から光を照射する第２照明部と、
    　前記対象領域を撮像する撮像部と、
    　前記第１照明部からの光の照射により前記撮像部にて取得される第１撮像画像と前記第１撮像画像に対応する第１参照画像とを比較することにより、前記対象領域における欠陥候補の領域を第１欠陥候補領域として検出し、前記第２照明部からの光の照射により前記撮像部にて取得される第２撮像画像と前記第２撮像画像に対応する第２参照画像とを比較することにより、前記対象領域における欠陥候補の領域を第２欠陥候補領域として検出する欠陥候補検出部と、
    　前記第１欠陥候補領域および前記第２欠陥候補領域において重複する領域を、前記対象領域における欠陥領域として特定する欠陥特定部と、
    を備える。
  2. 　請求項１に記載の検査装置であって、
    　前記第２照明部が、前記対象領域に対して複数の方向からそれぞれ光を照射する複数の光源部を有し、
    　前記複数の光源部のうちの一の光源部が、前記第１照明部である。
  3. 　請求項２に記載の検査装置であって、
    　前記複数の光源部のそれぞれを前記第１照明部として順次用いることにより、前記撮像部に複数の第１撮像画像を取得させる制御部をさらに備え、
    　前記欠陥候補検出部が、前記複数の第１撮像画像と、前記複数の第１撮像画像に対応する複数の第１参照画像とをそれぞれ比較することにより、それぞれが第１欠陥候補領域を示す複数の第１欠陥候補画像を生成し、
    　前記欠陥特定部が、各第１欠陥候補画像が示す前記第１欠陥候補領域、および、前記第２欠陥候補領域において重複する領域を、前記対象領域における欠陥領域として特定する。
  4. 　請求項２または３に記載の検査装置であって、
    　前記複数の光源部の個数が３以上である。
  5. 　表面に梨地状の領域を有する対象物の外観を検査する検査方法であって、
    　ａ）対象物の表面における所定の対象領域に対して、第１照明部により一の方向のみから光を照射しつつ、前記対象領域を撮像する撮像部にて第１撮像画像を取得する工程と、
    　ｂ）前記対象領域に対して第２照明部により複数の方向から光を照射しつつ、前記撮像部にて第２撮像画像を取得する工程と、
    　ｃ）前記第１撮像画像と前記第１撮像画像に対応する第１参照画像とを比較することにより、前記対象領域における欠陥候補の領域を第１欠陥候補領域として検出する工程と、
    　ｄ）前記第２撮像画像と前記第２撮像画像に対応する第２参照画像とを比較することにより、前記対象領域における欠陥候補の領域を第２欠陥候補領域として検出する工程と、
    　ｅ）前記第１欠陥候補領域および前記第２欠陥候補領域において重複する領域を、前記対象領域における欠陥領域として特定する工程と、
    を備える。
  6. 　請求項５に記載の検査方法であって、
    　前記第２照明部が、前記対象領域に対して複数の方向からそれぞれ光を照射する複数の光源部を有し、
    　前記複数の光源部のうちの一の光源部が、前記第１照明部である。
  7. 　請求項６に記載の検査方法であって、
    　前記ａ）工程において、前記複数の光源部のそれぞれを前記第１照明部として順次用いることにより、前記撮像部にて複数の第１撮像画像が取得され、
    　前記ｃ）工程において、前記複数の第１撮像画像と、前記複数の第１撮像画像に対応する複数の第１参照画像とをそれぞれ比較することにより、それぞれが第１欠陥候補領域を示す複数の第１欠陥候補画像が生成され、
    　前記ｅ）工程において、各第１欠陥候補画像が示す前記第１欠陥候補領域、および、前記第２欠陥候補領域において重複する領域が、前記対象領域における欠陥領域として特定される。
  8. 　請求項６または７に記載の検査方法であって、
    　前記複数の光源部の個数が３以上である。
PCT/JP2015/062872 2014-09-05 2015-04-28 検査装置および検査方法 WO2016035381A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020177006857A KR101931456B1 (ko) 2014-09-05 2015-04-28 검사 장치 및 검사 방법
EP15838785.2A EP3190401B1 (en) 2014-09-05 2015-04-28 Inspection device and inspection method
US15/507,950 US10705029B2 (en) 2014-09-05 2015-04-28 Inspection apparatus and inspection method
CN201580047339.XA CN106796179B (zh) 2014-09-05 2015-04-28 检查装置以及检查方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014181054A JP6370177B2 (ja) 2014-09-05 2014-09-05 検査装置および検査方法
JP2014-181054 2014-09-05

Publications (1)

Publication Number Publication Date
WO2016035381A1 true WO2016035381A1 (ja) 2016-03-10

Family

ID=55439455

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062872 WO2016035381A1 (ja) 2014-09-05 2015-04-28 検査装置および検査方法

Country Status (7)

Country Link
US (1) US10705029B2 (ja)
EP (1) EP3190401B1 (ja)
JP (1) JP6370177B2 (ja)
KR (1) KR101931456B1 (ja)
CN (1) CN106796179B (ja)
TW (1) TWI580951B (ja)
WO (1) WO2016035381A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564167A (zh) * 2016-08-18 2019-04-02 株式会社斯库林集团 检查装置及检查方法
CN110234984A (zh) * 2017-03-23 2019-09-13 株式会社斯库林集团 照明装置、照明方法以及拍摄装置
EP3546927A4 (en) * 2017-05-26 2020-09-09 Sintokogio, Ltd. INSPECTION DEVICE AND CASTING SYSTEM
EP3637092A4 (en) * 2017-06-05 2021-03-10 SCREEN Holdings Co., Ltd. INSPECTION DEVICE AND INSPECTION PROCEDURE

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6648147B2 (ja) 2014-10-24 2020-02-14 マジック アイ インコーポレイテッド 距離センサ
US10488192B2 (en) * 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
JP6761817B2 (ja) 2015-05-10 2020-09-30 マジック アイ インコーポレイテッド 物体までの距離を算出するための方法
JP6717816B2 (ja) * 2015-05-25 2020-07-08 株式会社Ｆｕｊｉ 部品実装機
US10068326B2 (en) * 2016-03-18 2018-09-04 Siemens Energy, Inc. System and method for enhancing visual inspection of an object
JP6917757B2 (ja) * 2016-06-15 2021-08-11 株式会社Ｓｃｒｅｅｎホールディングス 外観検査装置、表面処理システム、外観検査方法、プログラム、および投射材交換判断方法
DE102016011497B4 (de) * 2016-09-21 2019-01-24 Mühlbauer Gmbh & Co. Kg Optische Untersuchungseinrichtung und optisches Untersuchungsverfahren mit sichtbarem und infrarotem Licht für Halbleiterbauteile
JP6499139B2 (ja) * 2016-10-14 2019-04-10 矢崎総業株式会社 検査装置
KR102543275B1 (ko) 2016-12-07 2023-06-16 매직 아이 인코포레이티드 평행 패턴들을 투사하는 거리 센서
JP7254324B2 (ja) * 2017-06-05 2023-04-10 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
JP2020537237A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
US10885761B2 (en) * 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
CN108132264A (zh) * 2017-12-19 2018-06-08 江苏伊莱尔电力科技有限公司 一种滤波器成品缺陷检测方法法
CN109961455B (zh) * 2017-12-22 2022-03-04 杭州萤石软件有限公司 一种目标检测方法及装置
JP7083646B2 (ja) * 2018-01-15 2022-06-13 株式会社Ｓｃｒｅｅｎホールディングス 錠剤検査方法および錠剤検査装置
CN111602047B (zh) * 2018-01-15 2023-08-18 株式会社斯库林集团 片剂检查方法以及片剂检查装置
JP7113627B2 (ja) 2018-02-05 2022-08-05 株式会社Ｓｃｒｅｅｎホールディングス 画像取得装置、画像取得方法および検査装置
JP7170400B2 (ja) * 2018-02-14 2022-11-14 株式会社Ｓｃｒｅｅｎホールディングス 検査装置、検査方法、錠剤印刷装置および錠剤印刷方法
JP6598898B2 (ja) * 2018-02-27 2019-10-30 株式会社Ｓｃｒｅｅｎホールディングス 芯ズレ検出装置および芯ズレ検出方法
JP7073785B2 (ja) * 2018-03-05 2022-05-24 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
JP2021518535A (ja) 2018-03-20 2021-08-02 マジック アイ インコーポレイテッド 様々な密度の投影パターンを使用する距離測定
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
JP7076280B2 (ja) * 2018-04-27 2022-05-27 日立造船株式会社 測定方法および測定装置
KR20210008025A (ko) 2018-06-06 2021-01-20 매직 아이 인코포레이티드 고밀도 프로젝션 패턴들을 사용한 거리 측정 방법
JP7188930B2 (ja) 2018-07-27 2022-12-13 株式会社Ｓｃｒｅｅｎホールディングス 刻印検査装置、刻印検査方法および物品検査装置
CN108896566A (zh) * 2018-07-27 2018-11-27 佛山市坦斯盯科技有限公司 一种aoi相机及光源模组
KR102112053B1 (ko) * 2018-08-01 2020-05-18 주식회사 뷰온 이미지 센서를 이용한 표면결함 검사장치 및 검사방법
WO2020033169A1 (en) * 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
JP7223840B2 (ja) * 2018-09-20 2023-02-16 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド ビジョンベース検査システムの光学構成要素の自律診断検証のためのシステム、方法、および装置
CN112889351A (zh) * 2018-10-25 2021-06-01 松下知识产权经营株式会社 照明控制装置、照明控制***以及照明控制方法
JP6956063B2 (ja) * 2018-12-07 2021-10-27 ファナック株式会社 加工品の表面損傷検査システム
JP2022518023A (ja) 2019-01-20 2022-03-11 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
KR102290802B1 (ko) * 2019-03-29 2021-08-20 민팃(주) 전자 기기 가치 평가 시스템
CN114073075B (zh) 2019-05-12 2024-06-18 魔眼公司 将三维深度图数据映射到二维图像上
KR20220043219A (ko) * 2019-09-13 2022-04-05 코니카 미놀타 가부시키가이샤 표면 결함 판별 장치, 외관 검사 장치 및 프로그램
CN114424046A (zh) * 2019-09-27 2022-04-29 松下知识产权经营株式会社 检查方法、程序以及检查***
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
JP6755603B1 (ja) * 2019-12-25 2020-09-16 上野精機株式会社 電子部品の処理装置
CN114830190A (zh) 2019-12-29 2022-07-29 魔眼公司 将三维坐标与二维特征点相关联
EP4097681A4 (en) 2020-01-05 2024-05-15 Magik Eye Inc. TRANSFER OF THE COORDINATE SYSTEM OF A THREE-DIMENSIONAL CAMERA TO THE IMPACT POINT OF A TWO-DIMENSIONAL CAMERA
JP7038163B2 (ja) 2020-05-18 2022-03-17 本田技研工業株式会社 外観検査システム
CN111879789A (zh) * 2020-07-15 2020-11-03 深圳科瑞技术股份有限公司 金属表面缺陷检测方法及***
CN111812341A (zh) * 2020-07-22 2020-10-23 英华达（上海）科技有限公司 自动化设备检测***和检测自动化设备内部运作的方法
DE102020210484A1 (de) * 2020-08-18 2022-02-24 Magna Steyr Fahrzeugtechnik Ag & Co Kg Verfahren zum Prüfen einer Konservierungsschicht
JP2023043509A (ja) * 2021-09-16 2023-03-29 アピックヤマダ株式会社 外観検査装置及び外観検査方法
CN115356261A (zh) * 2022-07-29 2022-11-18 燕山大学 一种汽车球笼防尘罩的缺陷检测***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03123808A (ja) * 1989-10-06 1991-05-27 Sumitomo Electric Ind Ltd 表面不良検出装置
JPH0678856U (ja) * 1993-04-09 1994-11-04 株式会社ロゼフテクノロジー 照明装置
JP2005214720A (ja) * 2004-01-28 2005-08-11 Fuji Photo Film Co Ltd 表面検査装置及び方法
JP2008164628A (ja) * 2004-07-28 2008-07-17 Byk Gardner Gmbh 光表面特性の測角検査装置
JP2010139434A (ja) * 2008-12-12 2010-06-24 Yamatake Corp 異物とキズ痕との判別検査装置及び検査方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917588A (en) * 1996-11-04 1999-06-29 Kla-Tencor Corporation Automated specimen inspection system for and method of distinguishing features or anomalies under either bright field or dark field illumination
JPH11108637A (ja) * 1997-10-03 1999-04-23 Dakku Engineering Kk 品質検査装置
JP3120767B2 (ja) * 1998-01-16 2000-12-25 日本電気株式会社 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体
US6198529B1 (en) * 1999-04-30 2001-03-06 International Business Machines Corporation Automated inspection system for metallic surfaces
US6788404B2 (en) * 2002-07-17 2004-09-07 Kla-Tencor Technologies Corporation Inspection system with multiple illumination sources
JP2005017234A (ja) 2003-06-27 2005-01-20 Sony Corp 外観検査方法、外観検査装置及び電子回路基板の製造装置
JP2007240432A (ja) * 2006-03-10 2007-09-20 Omron Corp 欠陥検査装置および欠陥検査方法
US20090116727A1 (en) * 2006-05-02 2009-05-07 Accretech Usa, Inc. Apparatus and Method for Wafer Edge Defects Detection
KR100755372B1 (ko) * 2006-08-25 2007-09-04 삼성전자주식회사 웨이퍼 검사방법
JP2009162573A (ja) 2007-12-28 2009-07-23 Ricoh Elemex Corp 形状認識装置
JP5159373B2 (ja) * 2008-03-06 2013-03-06 オリンパス株式会社 基板検査方法
JP2010151479A (ja) * 2008-12-24 2010-07-08 Ushio Inc 配線パターン検査装置
SG163442A1 (en) * 2009-01-13 2010-08-30 Semiconductor Technologies & Instruments System and method for inspecting a wafer
SG164292A1 (en) * 2009-01-13 2010-09-29 Semiconductor Technologies & Instruments Pte System and method for inspecting a wafer
US8532364B2 (en) * 2009-02-18 2013-09-10 Texas Instruments Deutschland Gmbh Apparatus and method for detecting defects in wafer manufacturing
KR101108672B1 (ko) * 2009-05-12 2012-01-25 (주)제이티 반도체소자 비전검사장치 및 그 방법
CN102822666A (zh) * 2009-11-30 2012-12-12 株式会社尼康 检查装置、三维形状测定装置、构造物的制造方法
KR101324015B1 (ko) * 2011-08-18 2013-10-31 바슬러 비전 테크놀로지스 에이지 유리기판 표면 불량 검사 장치 및 검사 방법
US9235885B2 (en) * 2013-01-31 2016-01-12 Applied Materials Israel Ltd System, a method and a computer program product for patch-based defect detection
TWI491871B (zh) * 2013-07-05 2015-07-11 Machvision Inc 用於光學檢測的照明系統及使用其之檢測系統、檢測方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03123808A (ja) * 1989-10-06 1991-05-27 Sumitomo Electric Ind Ltd 表面不良検出装置
JPH0678856U (ja) * 1993-04-09 1994-11-04 株式会社ロゼフテクノロジー 照明装置
JP2005214720A (ja) * 2004-01-28 2005-08-11 Fuji Photo Film Co Ltd 表面検査装置及び方法
JP2008164628A (ja) * 2004-07-28 2008-07-17 Byk Gardner Gmbh 光表面特性の測角検査装置
JP2010139434A (ja) * 2008-12-12 2010-06-24 Yamatake Corp 異物とキズ痕との判別検査装置及び検査方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3190401A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564167A (zh) * 2016-08-18 2019-04-02 株式会社斯库林集团 检查装置及检查方法
US10942131B2 (en) 2016-08-18 2021-03-09 SCREEN Holdings Co., Ltd. Inspection apparatus and inspection method
CN110234984A (zh) * 2017-03-23 2019-09-13 株式会社斯库林集团 照明装置、照明方法以及拍摄装置
EP3546927A4 (en) * 2017-05-26 2020-09-09 Sintokogio, Ltd. INSPECTION DEVICE AND CASTING SYSTEM
US11158041B2 (en) 2017-05-26 2021-10-26 Sintokogio, Ltd. Inspection device and casting system
EP3637092A4 (en) * 2017-06-05 2021-03-10 SCREEN Holdings Co., Ltd. INSPECTION DEVICE AND INSPECTION PROCEDURE
US11074684B2 (en) 2017-06-05 2021-07-27 SCREEN Holdings Co., Ltd. Inspection apparatus and inspection method

Also Published As

Publication number Publication date
KR101931456B1 (ko) 2018-12-20
US20170307544A1 (en) 2017-10-26
TW201610421A (zh) 2016-03-16
EP3190401A4 (en) 2018-05-09
EP3190401B1 (en) 2021-11-24
KR20170043569A (ko) 2017-04-21
CN106796179B (zh) 2020-02-21
TWI580951B (zh) 2017-05-01
JP6370177B2 (ja) 2018-08-08
CN106796179A (zh) 2017-05-31
JP2016057075A (ja) 2016-04-21
US10705029B2 (en) 2020-07-07
EP3190401A1 (en) 2017-07-12

Similar Documents

Publication Publication Date Title
JP6370177B2 (ja) 検査装置および検査方法
JP6486050B2 (ja) 検査装置および検査方法
JP5882730B2 (ja) 外観検査装置及び外観検査方法
WO2017141611A1 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP4514007B2 (ja) 被検体の外観形状検査方法及び装置
JP6531184B2 (ja) 欠陥検出装置および欠陥検出方法
JP6834174B2 (ja) 外観検査方法および外観検査装置
JP6812118B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP2006138830A (ja) 表面欠陥検査装置
JP6811540B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
WO2018225460A1 (ja) 検査装置および検査方法
JP5959430B2 (ja) ボトルキャップの外観検査装置及び外観検査方法
JP5978002B2 (ja) 検査方法及び外観検査装置
JP6688629B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP6393663B2 (ja) 表面検査装置
WO2024009868A1 (ja) 外観検査システム、外観検査方法、学習装置および推論装置
KR20220065545A (ko) 비정형적 외형을 갖는 제품의 불량을 검사하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838785

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015838785

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015838785

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15507950

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177006857

Country of ref document: KR

Kind code of ref document: A