WO2015098929A1 - 表面欠陥検出方法及び表面欠陥検出装置 - Google Patents

表面欠陥検出方法及び表面欠陥検出装置 Download PDF

Info

Publication number
WO2015098929A1
WO2015098929A1 PCT/JP2014/084077 JP2014084077W WO2015098929A1 WO 2015098929 A1 WO2015098929 A1 WO 2015098929A1 JP 2014084077 W JP2014084077 W JP 2014084077W WO 2015098929 A1 WO2015098929 A1 WO 2015098929A1
Authority
WO
WIPO (PCT)
Prior art keywords
surface defect
light
defect detection
dark
illumination light
Prior art date
Application number
PCT/JP2014/084077
Other languages
English (en)
French (fr)
Inventor
紘明 大野
児玉　俊文
腰原　敬弘
晃弘 小川
飯塚　幸理
Original Assignee
Ｊｆｅスチール株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013270881A external-priority patent/JP6040930B2/ja
Priority claimed from JP2014090995A external-priority patent/JP6119663B2/ja
Priority claimed from JP2014090996A external-priority patent/JP6064942B2/ja
Priority to ES14873854T priority Critical patent/ES2942266T3/es
Priority to CA2934796A priority patent/CA2934796C/en
Priority to EP14873854.5A priority patent/EP3088874B1/en
Application filed by Ｊｆｅスチール株式会社 filed Critical Ｊｆｅスチール株式会社
Priority to KR1020167016851A priority patent/KR101832081B1/ko
Priority to CN201480071110.5A priority patent/CN105849534B/zh
Priority to RU2016129424A priority patent/RU2637723C1/ru
Priority to US15/107,241 priority patent/US10180401B2/en
Publication of WO2015098929A1 publication Critical patent/WO2015098929A1/ja
Priority to US16/112,939 priority patent/US10705027B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8822—Dark field detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to a surface defect detection method and a surface defect detection device for optically detecting a surface defect of a steel material.
  • the steel materials described here are steel products such as seamless steel pipes, welded steel pipes, hot-rolled steel sheets, cold-rolled steel sheets, thick steel plates, and other steel products, and are produced in the process of manufacturing these steel products. It means semi-finished products such as slabs.
  • a method for detecting surface defects in steel materials a method has been proposed in which a billet in the manufacturing process of a seamless steel pipe is irradiated with light to receive reflected light, and the presence or absence of surface defects is determined by the amount of reflected light. (See Patent Document 1).
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a surface defect detection method and a surface defect detection apparatus capable of accurately discriminating between scales and harmless patterns and surface defects.
  • the surface defect detection method is a surface defect detection method for optically detecting a surface defect of a steel material, and illuminates the same inspection target site from different directions using two or more distinguishable light sources.
  • the irradiating step includes a step of irradiating illumination light by causing two or more flash light sources to emit light repeatedly so that their light emission timings do not overlap each other.
  • the irradiation step includes a step of simultaneously irradiating two or more light sources of light sources whose wavelength regions do not overlap each other, and the detection step includes each of the mixed steps.
  • the method includes a step of acquiring an image of the reflected light of each illumination light by separating the reflected light of the illumination light using a filter that transmits light having the same wavelength as the wavelength of the illumination light.
  • the irradiation step includes a step of simultaneously irradiating illumination lights of two light sources having linear polarization characteristics orthogonal to each other, and the detection step includes each of the mixed steps.
  • the method includes a step of acquiring an image of the reflected light of each illumination light by separating the reflected light of the illumination light using two polarizing plates having linear polarization characteristics orthogonal to each other.
  • the surface defect detection method according to the present invention is characterized in that, in the above invention, an incident angle of illumination light of each light source with respect to the inspection target site is in a range of 25 ° to 55 °.
  • the surface defect detection method according to the present invention is the surface defect detection method according to the above invention, wherein the detection step uses a half mirror, a beam splitter, or a prism to obtain an image by reflected light of each illumination light. Adjusting the optical axis of the device to be coaxial.
  • the detection step extracts a bright part and a dark part of an image obtained by performing a difference process between acquired images, and the extracted bright part and dark part are extracted. Including a first determination step of determining the presence or absence of uneven surface defects from the positional relationship of and the irradiation direction of the illumination light.
  • the first determination step performs an expansion process on the image of the bright part and the dark part, and an overlapping part of the image of the bright part and the dark part subjected to the expansion process And calculating a positional relationship between the bright part and the dark part by extracting.
  • the first determination step performs binarization processing and labeling processing on the image of the bright portion and the dark portion, and the barycentric position of the image subjected to labeling processing.
  • the step of calculating the positional relationship between the bright part and the dark part by comparing the two is included.
  • the first determination step emphasizes a bright part and a dark part by performing a filtering process on an image of the bright part and the dark part. And a step of calculating the positional relationship of the dark part.
  • the first determination step includes a bright part and a dark part from a combination of the bright part and the dark part obtained by calculating a positional relationship between the bright part and the dark part. Calculating at least one of the luminance ratio, the area ratio, and the circularity as a feature amount, and determining the presence or absence of uneven surface defects based on the calculated feature amount.
  • the detection step acquires an image by reflected light of each illumination light, and performs a difference process between the acquired images, Including a second determination step of extracting a dark part, calculating a shape feature amount serving as an index of the length of the extracted bright portion and dark portion, and determining the presence or absence of the elongated defect based on the calculated shape feature amount.
  • the second determination step includes, as the shape feature amount, a major axis / minor axis ratio by elliptic approximation, a maximum ferret diameter, a circularity, and a convex polygon filling rate.
  • the method includes a step of calculating at least one of them.
  • the second determination step includes a step of determining the presence or absence of an elongated defect based on the orientation of the bright part and the dark part in addition to the shape feature amount.
  • the second determination step may be performed by using any one of a major axis / minor axis ratio, a maximum ferret diameter, and a linear filter by ellipse approximation.
  • the method includes a step of determining an orientation.
  • the surface defect detection apparatus is a surface defect detection apparatus that optically detects a surface defect of a steel material, and illuminates the same inspection target site from different directions using two or more distinguishable light sources.
  • detecting means for acquiring an image of reflected light of each illumination light and detecting a surface defect in the inspection target part by performing a difference process between the acquired images
  • the surface defect detection apparatus is a surface defect detection apparatus that optically detects a surface defect of a steel material, and illuminates the same inspection target site from different directions using two or more distinguishable light sources.
  • An image is obtained by irradiating means for irradiating light and reflected light of each illumination light, and extracting a bright part and a dark part of an image obtained by performing a difference process between the acquired images.
  • determining means for determining the presence or absence of uneven surface defects from the positional relationship of the dark part and the irradiation direction of the illumination light.
  • the surface defect detection apparatus is a surface defect detection apparatus that optically detects a surface defect of a steel material, and illuminates the same inspection target site from different directions using two or more distinguishable light sources.
  • An image is obtained by irradiating means for irradiating light and reflected light of each illumination light, and extracting a bright part and a dark part of an image obtained by performing a difference process between the acquired images.
  • a determining unit that calculates a shape feature amount serving as an index of the length of the dark portion and determines the presence or absence of the elongated defect based on the calculated shape feature amount.
  • the surface defect detection method and the surface defect detection apparatus according to the present invention, it is possible to accurately distinguish scales and harmless patterns from surface defects.
  • FIG. 1 is a schematic diagram showing a configuration of a surface defect detection apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing a configuration of a modification of the area sensor shown in FIG.
  • FIG. 3 is a timing chart showing drive timings of the light source and the area sensor shown in FIG.
  • FIG. 4 is a diagram illustrating an example of two two-dimensional images obtained by photographing a surface defect, a scale, and a harmless pattern, and a difference image thereof.
  • FIG. 5 is a schematic diagram showing a configuration of an apparatus used in an experiment for investigating the relationship between the incident angle of illumination light and the reflectance of a healthy part (ground iron part).
  • FIG. 1 is a schematic diagram showing a configuration of a surface defect detection apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing a configuration of a modification of the area sensor shown in FIG.
  • FIG. 3 is a timing chart showing drive timings of the light source and the area sensor shown
  • FIG. 6 is a diagram showing the relationship between the incident angle of the laser and the amount of light received by the power meter.
  • FIG. 7 is a schematic diagram for explaining the surface defect detection process according to the second embodiment of the present invention.
  • FIG. 8 is a schematic diagram for explaining a surface defect detection process according to the third embodiment of the present invention.
  • FIG. 9 is a schematic diagram illustrating the configuration of the apparatus used in the example.
  • FIG. 10 is a diagram illustrating the surface defect detection processing result of the example.
  • FIG. 11 is a diagram illustrating a result of the surface defect detection process for the portion where the scale is generated.
  • FIG. 12 is a schematic diagram showing a configuration of a modification of the surface defect detection device according to the first embodiment of the present invention.
  • FIG. 13 is a schematic diagram showing the configuration of another modification of the surface defect detection device according to the first embodiment of the present invention.
  • FIG. 14 is a diagram showing a shadow when light is irradiated from one side when the surface shape of the region to be inspected is a concave shape and a convex shape.
  • FIG. 15 is a diagram illustrating an example of a difference image of concave surface defects.
  • FIG. 16 is a flowchart showing a flow of a method for calculating the positional relationship between the bright part and the dark part using the expansion process.
  • FIG. 17 is a diagram illustrating an example of the one-dimensional profile of the difference image and the light / dark pattern.
  • FIG. 18 is a diagram illustrating an example of a two-dimensional image and a one-dimensional profile of a filter.
  • FIG. 19 is a diagram illustrating an example of a difference image and a one-dimensional profile that have been subjected to filter processing using the filter illustrated in FIG.
  • FIG. 20 is a schematic diagram illustrating a modification of the arrangement position of the light sources.
  • FIG. 21 is a schematic diagram showing a light / dark pattern obtained by the arrangement position of the light source shown in FIG.
  • FIG. 22 is a diagram illustrating the surface defect detection processing result of the example.
  • FIG. 23 is a diagram illustrating an example of a linear elongated defect in which a bright and dark pattern of reflected light cannot be formed.
  • FIG. 24 is a flowchart showing the flow of the elongated defect detection process according to the embodiment of the present invention.
  • FIG. 25 is a diagram for explaining an example of the shape feature amount of the surface defect.
  • FIG. 26 is a diagram illustrating the surface defect detection processing result of the example.
  • FIG. 1 is a schematic diagram showing a configuration of a surface defect detection apparatus according to a first embodiment of the present invention.
  • a surface defect detection device 1 according to a first embodiment of the present invention is a device that detects a surface defect of a cylindrical steel pipe P that is conveyed in the direction of an arrow in the figure, and includes light sources 2a and 2b.
  • a function generator 3, area sensors 4a and 4b, an image processing device 5, and a monitor 6 are provided as main components.
  • the light sources 2a and 2b irradiate the illumination light L that can be discriminated to the same inspection target portion on the surface of the steel pipe P in accordance with a trigger signal from the function generator 3. It is desirable that the light sources 2a and 2b be arranged symmetrically with respect to the inspection target part. Therefore, the light sources 2a and 2b are shifted by the same angle with respect to the normal vector of the surface of the steel pipe P, and are arranged so that the irradiation direction vector of the illumination light L and the normal vector of the surface of the steel pipe P are in the same plane. ing.
  • the identity of the incident angle described here aims to make the optical conditions as equal as possible when discriminating light sources in different directions, and to greatly reduce the signal of a healthy part including a scale and a harmless pattern by differential processing. Further, the signal of the healthy part greatly depends on the surface property of the object, and it is difficult to guarantee the identity at a constant angle. Therefore, within the range of 25 to 55 °, even if the angles are slightly different, the same angle is expressed as long as the signal of the healthy portion can be reduced by the difference processing.
  • the number of light sources is two, but the number of light sources may be three or more as long as discrimination is possible.
  • the discriminable light source described here refers to a light source capable of obtaining the amount of reflected light for each light source with respect to the reflected light obtained from the object.
  • the area sensors 4a and 4b capture a two-dimensional image of the reflected light of the illumination light L emitted from the light sources 2a and 2b according to the trigger signal from the function generator 3.
  • the area sensors 4 a and 4 b input captured two-dimensional image data to the image processing device 5. It is desirable that the area sensors 4a and 4b be installed on the normal vector of the region to be inspected as much as possible while ensuring the respective imaging fields of view.
  • the area sensors 4a and 4b be as close as possible and the respective optical axes be as parallel as possible.
  • the area sensors 4 a and 4 b may be adjusted so that the optical axes thereof are coaxial by using any one of the half mirror 10, the beam splitter, and the prism. Thereby, the difference image mentioned later can be acquired accurately.
  • the image processing device 5 is a device that detects a surface defect in a region to be inspected by performing difference processing described later between two two-dimensional images input from the area sensors 4a and 4b.
  • the image processing device 5 outputs to the monitor 6 information related to the two-dimensional images and surface defect detection results input from the area sensors 4a and 4b.
  • the surface defect detection apparatus 1 discriminates the scale or harmless pattern from the surface defect in the inspection target part by executing the following surface defect detection process.
  • the surface defects described here are irregular defects.
  • the scale and harmless pattern mean a surface film or surface property with a different optical characteristic from the base metal part with a thickness of several to several tens of ⁇ m, which causes noise in surface defect detection processing. Part.
  • surface defect detection processing according to the first to third embodiments of the present invention will be described.
  • FIG. 3 is a timing chart showing drive timings of the light sources 2a and 2b and the area sensors 4a and 4b.
  • d represents the light emission time of the light sources 2a and 2b
  • T represents the imaging period of the two-dimensional image by the area sensors 4a and 4b.
  • the light sources 2a and 2b are discriminated by using the light sources 2a and 2b as flash light sources and repeatedly emitting light so that the flash light sources do not overlap each other.
  • the function generator 3 transmits a trigger signal to the light source 2a and the area sensor 4a, the light source 2a emits the illumination light L, and the area sensor within time d. 4a completes the photographing of the two-dimensional image. Then, after the two-dimensional image is captured by the area sensor 4a, the function generator 3 transmits a trigger signal to the light source 2b and the area sensor 4b, and similarly captures the two-dimensional image. According to this embodiment, it is possible to take a two-dimensional image of each reflected light with respect to the illumination light L emitted from each light source without causing a decrease in the amount of light at the time difference d.
  • the flash light source has a short light emission time d. This is because the shorter the light emission time d, the smaller the shutter delay between the two two-dimensional images obtained by the area sensors 4a and 4b, and the smaller the positional deviation of the two-dimensional image due to the shutter delay. Further, when it is intended to detect a surface defect using a difference image of a two-dimensional image by individual reflected light, the light emission time d of the flash light source needs to satisfy the condition shown in the following formula (1). .
  • the conveyance speed of the steel pipe P is 1, 3, 5 m / s.
  • the light emission times of the light sources 2a and 2b must be 800, 270 and 160 ⁇ sec or less, respectively.
  • this positional deviation can be corrected after photographing a two-dimensional image.
  • the image processing apparatus 5 performs image processing such as calibration, shading correction, and noise removal using camera parameters derived in advance for the two-dimensional images input from the area sensors 4a and 4b. After the application, a surface defect in the inspection target part is detected by performing a difference process between the two-dimensional images.
  • the luminance value of each pixel constituting the two-dimensional image Ia when the illumination light L is irradiated from the light source 2a is Ia (x, y) (where the number of pixels is X ⁇ Y and the x coordinate is 1 ⁇ x ⁇ X, y coordinate is 1 ⁇ y ⁇ Y), and when the luminance value of each pixel constituting the two-dimensional image Ib when the illumination light L is irradiated from the light source 2b is Ib (x, y),
  • the luminance value I_diff (x, y) of each pixel of the difference image I_diff is expressed by the following formula (2).
  • FIGS. 4A, 4B, and 4C show examples of the two-dimensional images Ia and Ib and the difference image I_diff obtained by imaging the surface defect, the non-defect scale, and the harmless pattern, respectively.
  • the luminance value I′_diff (x, y) of the difference image is expressed by the following formula (3).
  • the light sources 2a and 2b are the same, and that each light source is irradiated so as to be as uniform parallel light as possible, and the inspection target part is close to a plane.
  • surface defects can be detected by general shading correction even when the surface is somewhat uneven or when applied to a gently curved surface such as a steel pipe P.
  • the incident angle of the illumination light L is within a range in which a specular reflection component does not enter the reflected light of the healthy part and a sufficient amount of light can be secured.
  • the inventors of the present invention conducted an experiment for investigating the relationship between the incident angle of the illumination light L and the reflectance of the healthy part (ground iron part).
  • the configuration of the apparatus used for the experiment is shown in FIG.
  • the power meter 12 was fixed at a position directly above the slab sample 14, and the power meter 12 when the incident angle ⁇ of the laser 13 was changed from 0 ° to 90 °.
  • the amount of light received was measured.
  • the experimental results are shown in FIG. As shown in FIG.
  • the incident angle ⁇ when the incident angle ⁇ is in the range of 0 ° to 20 °, the amount of light received by the power meter 12 is large because the specular reflection component is included, but when the incident angle ⁇ is 60 ° or more. The amount of light received by the power meter 12 is greatly reduced. Therefore, it is desirable that the incident angle of the illumination light L be in the range of 25 ° to 55 ° with respect to the normal vector of the inspection target part.
  • the resolution in the depth direction of the inspection target part depends on the inclination angle of the defect and the resolution of the area sensors 4a and 4b.
  • the inclination angle of the defect means that the “normal vector of the defect part” is orthogonally projected onto the “plane formed by the normal vector of the surface of the healthy part of the inspection target site and the light source direction vector”, and the orthogonally projected vector And the normal vector of the surface of the healthy part.
  • the light sources 2a and 2b are discriminated by using the light sources 2a and 2b as light sources whose wavelength regions do not overlap each other.
  • the light sources 2a and 2b are discriminated by using the light sources 2a and 2b as light sources whose wavelength regions do not overlap each other.
  • two types of wavelength selection filters 20a and 20b whose wavelength regions do not overlap with the light sources 2a and 2b are installed, and the wavelength region of the illumination light L is selected.
  • wavelength selection filters 21a and 21b having the same wavelength selection characteristics are installed in the area sensors 4a and 4b.
  • the reflected light of the illumination light L from the light source 2a is received only by the area sensor 4a by the wavelength selection filters 20a and 21a, and the reflected light of the illumination light L from the light source 2b is received by the wavelength selection filter 20b, Light is received only by the area sensor 4b by 21b. Therefore, by matching the photographing timings of the area sensors 4a and 4b, it is possible to photograph a two-dimensional image by the reflected light of the illumination light L from the light sources 2a and 2b without misalignment. Processing after taking a two-dimensional image is the same as in the first embodiment.
  • the light sources 2a and 2b are used as flash light sources in order to prevent displacement due to the movement of the examination target part, and the two-dimensional operation is performed without changing the irradiation timing of the light sources 2a and 2b. You may shorten the imaging time of an image.
  • the wavelength selection filter 20a is a blue transmission filter and the wavelength selection filter 20b is a green transmission filter
  • a two-dimensional image is taken using a single color camera, so that the illumination light L from the light source 2a is captured in the blue channel. Only the reflected light may be received, and only the reflected light of the illumination light L from the light source 2b may be received by the green channel.
  • the light sources 2a and 2b are discriminated by using the light sources 2a and 2b as light sources having linear polarization characteristics orthogonal to each other.
  • linearly polarizing plates 30a and 30b are installed in light sources 2a and 2b at ⁇ ° and ( ⁇ + 90) ° ( ⁇ is an arbitrary angle), and light components of polarization components orthogonal to each other.
  • the linear polarizing plate means a filter that transmits only a linearly polarized light component in a certain direction with respect to incident light.
  • linear polarizing plates 31a and 31b having the same linear polarization characteristics as the linear polarizing plates 30a and 30b are installed in the area sensors 4a and 4b at ⁇ ° and ( ⁇ + 90) °.
  • the reflected light of the illumination light L from the light source 2a is received only by the area sensor 4a, and the reflected light of the illumination light L from the light source 2b is received only by the area sensor 4b. Therefore, by matching the photographing timings of the area sensors 4a and 4b, it is possible to photograph a two-dimensional image by the reflected light of the illumination light from each light source without misalignment.
  • the light sources 2a and 2b may be flash light sources, and the imaging time of the two-dimensional image may be shortened without changing the irradiation timing of the light sources 2a and 2b.
  • the processing after alignment and two-dimensional image capturing is the same as in the first and second embodiments.
  • FIG. 9 shows a flash light source is used as the light sources 2a and 2b, and a surface defect of the steel pipe P is detected by using a method of changing the light emission timing of the light sources 2a and 2b.
  • the area sensors 4a and 4b were juxtaposed to take a two-dimensional image and aligned by image processing.
  • FIG. 10 shows the detection result of the surface defect. 10A is a two-dimensional image when the illumination light L is irradiated from the light source 2a, FIG. 10B is a two-dimensional image when the illumination light L is irradiated from the light source 2b, and FIG.
  • FIG. 11 is a diagram showing the surface defect detection processing result for the steel pipe portion where the scale is generated.
  • FIG. 11A is a two-dimensional image when the illumination light L is irradiated from the light source 2a
  • FIG. 11B is a two-dimensional image when the illumination light L is irradiated from the light source 2b
  • FIG. 12 is a difference image between the two-dimensional image shown in FIG. 11A and the two-dimensional image shown in FIG.
  • a black spot spreading over the entire two-dimensional image shown in FIGS. 11A and 11B is a scale that causes noise. Since the scale shape was flat, the scale image was removed by acquiring the difference image. Moreover, in the difference image, the signal of the scale that becomes noise is reduced to about 1 ⁇ 4 as compared with the case where the illumination light L is simply irradiated from one direction.
  • FIG. 12 is a schematic diagram showing a configuration of a modification of the surface defect detection device according to the first embodiment of the present invention.
  • the illumination light irradiated from one light source 2a is divided by a plurality of mirrors 40a, 40b, 40c, and 40d, and finally the inspection target site of the steel pipe P1 is illuminated from two directions. Irradiate light.
  • the same effects as those of the second and third embodiments can be obtained by installing the wavelength selection filters 20a and 20b and the linear polarizing plates 30a and 30b in the optical paths of the illumination light.
  • this modification irradiates illumination light from two directions, it is the same when irradiating illumination light from three or more directions.
  • FIG. 13 is a schematic diagram showing the configuration of another modification of the surface defect detection device according to the first embodiment of the present invention.
  • the wavelength of the light source is not limited by the wavelength selection filters 20a and 20b, but the pulse lasers 51a and 51b and the diffusion plates 50a and 50b are used. Are used to limit the wavelength of the light source.
  • the light sources are discriminated by irradiating laser light from two pulse lasers 51a and 51b having different wavelength regions from the left and right directions of the inspection target part.
  • the diffusion plates 50a and 50b are inserted into the optical path of the laser light.
  • this modification irradiates illumination light from two directions, it is the same when irradiating illumination light from three or more directions.
  • Modification 3 This modification uses a dichroic mirror in place of the wavelength selection filters 21a and 21b installed in the area sensors 4a and 4b in the surface defect detection apparatus shown in FIG.
  • the dichroic mirror is a mirror that reflects light of a specific wavelength component and transmits light of other wavelength components. Using a dichroic mirror eliminates the need for a wavelength selection filter.
  • this modification irradiates illumination light from two directions, it is the same when irradiating illumination light from three or more directions.
  • the surface defect detection apparatus 1 discriminates a scale or harmless pattern from an uneven surface defect in an inspection target part by executing the following surface defect detection process.
  • the scale and harmless pattern mean a surface film or surface property with a different optical characteristic from the steel part having a thickness of several to several tens of ⁇ m, which causes noise in the surface defect detection process. Part.
  • the image processing apparatus 5 performs calibration using the camera parameters previously derived for the two two-dimensional images input from the area sensors 4a and 4b. After performing image processing such as shading correction and noise removal, a difference image is generated by performing difference processing between the two-dimensional images, and uneven surface defects in the inspection target part are detected from the generated difference image To do.
  • the luminance value of each pixel constituting the two-dimensional image Ia obtained when the illumination light L is emitted from the light source 2a is Ia (x, y) (where the number of pixels is X ⁇ Y, and the x coordinate is 1 ⁇ x ⁇ X, y coordinate is 1 ⁇ y ⁇ Y), and the luminance value of each pixel constituting the two-dimensional image Ib obtained when the illumination light L is irradiated from the light source 2b is expressed as Ib (x, y).
  • the luminance value I_diff (x, y) of each pixel of the difference image I_diff obtained by the difference processing is expressed by the above-described equation (1).
  • luminance value I_diff (x, y) 0.
  • FIGS. 14A and 14B are diagrams showing shadows when illumination light is irradiated from one light source to the inspection target part when the surface shape of the inspection target part is a concave shape and a convex shape.
  • FIG. 14A when the surface shape of the inspection target part is a concave shape, the near side of the light source becomes dark due to a decrease in the amount of irradiation light per unit area, and the back side of the light source approaches the regular reflection direction. It becomes brighter.
  • FIG. 14A when the surface shape of the inspection target part is a concave shape, the near side of the light source becomes dark due to a decrease in the amount of irradiation light per unit area, and the back side of the light source approaches the regular reflection direction. It becomes brighter.
  • FIG. 14A when the surface shape of the inspection target part is a concave shape, the near side of the light source becomes dark due to a decrease in the amount of irradiation light per unit area, and the back side of the light
  • the near side of the light source becomes closer to the regular reflection direction so that it becomes brighter, and the back side of the light source has a convex shape. It becomes a shadow and darkens.
  • the light / dark pattern of the reflected light of the illumination light differs depending on whether the surface shape of the inspection target part is concave or convex. Therefore, the presence or absence of uneven surface defects can be detected by recognizing the light / dark pattern of the reflected light. Therefore, in the following, a method for detecting uneven surface defects by recognizing a light / dark pattern of reflected light will be described. In the following description, it is assumed that concave surface defects are detected among uneven surface defects, but convex surface defects can also be detected by the same logic.
  • the bright part described below means a blob having an area of a predetermined value or more obtained by performing a concatenation process on a pixel whose luminance is a predetermined threshold or more in the difference image I_diff.
  • the dark part described below refers to a blob having an area greater than or equal to a predetermined value obtained by performing concatenation processing on pixels whose luminance is equal to or lower than a predetermined threshold in the difference image I_diff.
  • a blob means a set of labeled pixels.
  • a light / dark pattern is recognized by extracting a bright part and a dark part by performing threshold processing.
  • the light sources 2a and 2b are arranged symmetrically with respect to the normal vector of the inspection target part, so that the reflected light caused by the uneven shape on the surface is reflected.
  • Light and dark patterns occur in the left-right direction. Since the right and left of the light and dark are reversed depending on the order of the difference processing, here, the right is bright and the left is dark, and the right is dark and the left is bright is the convex shape. Therefore, the difference image I_diff of the concave surface defect is as shown in FIG. Therefore, when the images of the bright part and the dark part are binarized by the luminance threshold values
  • the and -The, respectively, the binarized images I_blight and I_dark of the bright part and the dark part are respectively expressed by the following formula (4).
  • the first positional relationship calculation method is a method of calculating the positional relationship between the bright part and the dark part by performing an expansion / contraction process in a specific direction on the bright part and the dark part.
  • a flowchart of this calculation method is shown in FIG.
  • a case will be described in which a bright and dark pattern in which the right is bright and the left is dark in order to detect a concave surface defect is recognized.
  • Light on the right and dark on the left means that there is always a dark part on the left side of the bright part, and there is always a bright part on the right side of the dark part.
  • the image processing apparatus 5 performs an expansion process in the right direction with respect to the dark part and performs an expansion process in the left direction with respect to the bright part (steps S1a and S1b).
  • the expansion process is expressed as the following equation (5).
  • the upper left of the two-dimensional image is the origin
  • the lower direction is positive in the y-axis direction
  • the right direction is positive in the x-axis direction.
  • the bright portion and the dark portion are expanded by the same length W, but the expanded length W is not necessarily the same. In extreme cases, only the bright portion and the dark portion are included. On the other hand, an expansion process may be performed. Further, the expanding length W depends on the size of the surface defect to be detected.
  • the image processing apparatus 5 performs the expansion process by performing an AND process on the bright and dark images I_blight_extend and I_dark_extend that have been subjected to the expansion process as shown in Equation (6) below.
  • the overlapping part of the bright part and dark part images I_blight_extend and I_dark_extend is extracted as a defect candidate part image I_defect (steps S2a and S2b).
  • the image processing apparatus 5 generates a defect candidate blob I_defect_blob by performing a labeling process on the obtained defect candidate part images I_defect after performing a connection / isolated point removal process as necessary. (Step S3). Then, the image processing device 5 extracts the feature amount of each defect candidate blob I_defect_blob, and determines whether each defect candidate blob I_defect_blob is a concave surface defect based on the extraction result (steps S4a and S4b). . Note that in order to investigate the feature amount of the defect candidate blob I_defect_blob, information on the bright part and the dark part is necessary, so the bright part and the dark part are restored from the defect candidate blob I_defect_blob.
  • the image processing apparatus 5 since the bright part always exists on the right side of the defect candidate part and the dark part always exists on the left side, the image processing apparatus 5 starts from the center of gravity of the defect candidate blob I_defect_blob as the starting point, and the dark part binarized image I_dark. To the left, and the first found blob is a dark defect candidate blob I_dark_blob. Similarly, the image processing apparatus 5 searches the right part binarized image I_blight on the right side starting from the center of gravity of the defect candidate blob I_defect_blob, and sets the first found blob as the bright part defect candidate blob I_blight_blob.
  • the image processing apparatus 5 extracts the feature amount from the bright part defect candidate blob I_blight_blob and the dark part defect candidate blob I_dark_blob restored in this manner, and each defect candidate blob I_defect_blob is a concave surface defect based on the extracted feature quantity. It is determined whether or not. Since the specific feature amount varies depending on the defect, an example will be given in an embodiment described later without being described here.
  • the second positional relationship calculation method after performing the above-described threshold processing and performing connection / isolated point removal processing as necessary, the bright portion and the dark portion are extracted and labeling is performed, and the positions of the bright portion and the dark portion are determined. Recognizing the relationship detects a concave surface defect. Specifically, first, the image processing apparatus 5 individually recognizes the bright part and the dark part by labeling, and obtains the gravity center information of the bright part and the dark part. Next, the image processing apparatus 5 determines whether the center of gravity of the dark part exists within a predetermined range on the right side of each bright part from the center of gravity information of the bright part and the dark part.
  • the image processing apparatus 5 recognizes the combination of a bright part and a dark part which are a pair as a bright and dark pattern, and performs feature quantity analysis of the bright and dark pattern, thereby detecting a concave surface defect. It is determined whether or not there is.
  • the light / dark pattern is recognized using the center-of-gravity information.
  • the information used for recognizing the light / dark pattern is not necessarily the center of gravity information. Not necessary.
  • FIGS. 17A and 17B are diagrams showing an example of a difference image and a one-dimensional profile of a light-dark pattern in the line segment L4 shown in FIG.
  • the concave surface defects are bright on the right and dark on the left. Therefore, the one-dimensional profile of the light / dark pattern is characteristic of a mountain shape on the right side and a valley shape on the left side. Become a one-dimensional profile. Therefore, in the present embodiment, a filter H having a mountain shape on the right side and a valley shape on the left side is created in advance, and the filter H is applied to the difference image I_diff as shown in the following formula (7), whereby a high frequency is obtained. A two-dimensional image I_cont in which noise is reduced and only a light / dark pattern is enhanced is generated.
  • FIGS. 18 (a) and 18 (b) are diagrams showing an example of a two-dimensional image of the filter H created in advance and a one-dimensional profile thereof in the left-right direction.
  • FIGS. 19 (a) and 19 (b) are diagrams showing a differential image that has been subjected to filter processing using the filter H shown in FIGS. 18 (a) and 18 (b) and a one-dimensional profile in the left-right direction. As shown in FIGS. 19A and 19B, it can be seen that a two-dimensional image in which high-frequency noise is reduced and only the bright and dark pattern is enhanced is obtained.
  • the image processing device 5 performs a threshold value process on the defect candidate portion image I_defect after performing a connection / isolation point removal process on the two-dimensional image with the bright / dark pattern enhanced in this way as necessary. Extract. Then, the image processing apparatus 5 detects a concave surface defect by performing the same processing as the first positional relationship calculation method on the extracted defect candidate portion image I_defect.
  • the surface defect detection processing uses the two light sources 2a and 2b that can be distinguished to substantially the same incident angle from different directions to the same inspection target site. Illuminating the illumination light L, obtaining an image of the reflected light of each illumination light L, extracting a bright part and a dark part of the image obtained by performing a difference process between the obtained images, and extracting the bright part.
  • the presence or absence of uneven surface defects is determined from the positional relationship of the dark portion and the irradiation direction of the illumination light L, it is possible to accurately discriminate between scales and harmless patterns and uneven surface defects.
  • the left and right light and dark patterns are recognized because the light sources are installed symmetrically. However, even if the installation position of the light sources is not left and right, and is not symmetrical or symmetric, the same processing is performed. Defects can be detected. Specifically, when the light sources are arranged vertically symmetrically, the light / dark pattern only changes from the left / right direction to the vertical direction. Defects can be detected.
  • the surface defect is a concave shape
  • the near side of the light source becomes dark and the back side becomes bright
  • the surface defect If is convex the front side of the light source is bright and the back side is dark.
  • the surface defect has a concave shape
  • the two-dimensional image obtained by the illumination light from the light source 2a is as shown in FIG. 21A
  • the two-dimensional image obtained by the illumination light from the light source 2b is as shown in FIG. 21A
  • the difference image becomes a bright and dark pattern having contrast from the lower left to the upper right as shown in FIG.
  • the uneven surface defect is detected when the illumination light is irradiated from the direction that is symmetric with respect to the normal line of the inspection target part, but the irradiation direction of the illumination light is not necessarily symmetric. Moreover, the surface defect detection process of this embodiment can be applied to the entire production line of steel regardless of whether it is hot or cold.
  • the surface defect detection process using the first positional relationship calculation method is applied to the inspection target portion where the pit ridge is formed and the healthy inspection target portion where the pit ridge is not formed.
  • the brightness ratio, area ratio, and circularity of the bright part and the dark part were calculated as the feature amount.
  • the circularity is a value obtained by dividing the area of the bright part and the dark part by the square of the circumference of the circumference, and is used when determining whether the shape of the bright part and the dark part is close to a circular shape. .
  • the surface defect has the same cause, it is unlikely that the luminance and area are significantly different between the left and right signals, and the detection accuracy of the surface defect is improved by evaluating the left and right balance using the luminance ratio and area ratio. Further, in order to evaluate the shadow, the bright part and the dark part rarely have a circular shape, and it is possible to determine that a thing close to the circular shape is caused by another, so the circularity is incorporated into the feature amount. In addition, the areas of the bright part and the dark part are calculated so that only surface defects whose area is a predetermined value or more can be detected. The detection result is shown in FIG. As shown in FIG. 22, according to the present Example, it was confirmed that the pit ridge and the healthy part in which the pit ridge was not formed can be distinguished with high accuracy.
  • the surface defect detection apparatus 1 discriminates the scale or harmless pattern from the uneven surface defect in the inspection target part by executing the following surface defect detection process.
  • the scale and harmless pattern mean a surface film or surface property with a different optical characteristic from the steel part having a thickness of several to several tens of ⁇ m, which causes noise in the surface defect detection process. Part.
  • the surface defect detection apparatus 1 which is the said 2nd Embodiment detected the presence or absence of the uneven surface defect by recognizing the light-dark pattern of reflected light.
  • a bright / dark pattern of reflected light may not be formed.
  • the normal vector direction is significantly different from the optical axis direction of the area sensor on the surface of the steel pipe and the shape of the surface defect is elongated as shown in FIG. Since it is hidden from the field of view and only the other of the bright part and the dark part is detected, a bright / dark pattern of reflected light may not be obtained.
  • the surface defect detection processing according to an embodiment of the present invention is performed by recognizing the shape of the surface defect separately from the logic for detecting the uneven surface defect by recognizing the bright and dark pattern of the reflected light. It has a logic to detect.
  • the elongated defect described here means a surface defect having a linearly elongated shape feature.
  • FIG. 24 is a flowchart showing the flow of the elongated defect detection process according to the embodiment of the present invention.
  • the surface defect to be detected is a concave elongated defect, but the convex elongated defect can also be detected by this detection process when only the other of the bright part and the dark part is detected.
  • the image processing apparatus 5 binarizes the difference image between the bright part and the dark part with a predetermined luminance threshold value, and performs connection / isolation point removal as necessary. Then, labeling is performed on the bright and dark images (steps S1a and S1b). Next, the image processing apparatus 5 extracts bright and dark images having an area equal to or larger than a predetermined threshold from the bright and dark images subjected to the labeling process (step S2). Then, the image processing device 5 calculates the shape feature quantity of the surface defect serving as an index of the length of the extracted bright part and dark part images, and detects the elongated defect based on the calculated shape feature quantity of the surface defect. (Step S3).
  • the shape feature amount of the surface defect serving as an index of the thinness the major axis / minor axis ratio of the ellipse, the maximum ferret diameter, the circularity, and the convex polygon filling rate can be exemplified.
  • the image processing device 5 sets an ellipse R to the image of the bright part or the dark part. Fit.
  • methods for fitting an ellipse to an image there are a least square method, a second moment derivation method, and the like, but the second moment derivation method is more useful in consideration of calculation time.
  • the image processing apparatus 5 calculates the lengths of the major axis L1 and the minor axis L2 of the fitted ellipse R, and uses the ratio of the calculated major axis L1 and minor axis L2 as the shape feature amount.
  • the ferret diameter is a length L3 of a mapping when an image of a bright part or a dark part is orthogonally projected in one dimension.
  • the image processing apparatus 5 calculates the maximum value of the orthogonal projection length as the maximum ferret diameter while rotating the image of the bright part or the dark part by 180 degrees. Then, the image processing apparatus 5 uses the ratio of the ferret diameter and the maximum ferret diameter in the direction orthogonal to the location where the maximum ferret diameter is calculated as the shape feature amount.
  • the circularity is a value obtained by dividing the area of the bright part or the dark part by the square of the circumference of the bright part and the dark part, and the shape of the bright part or the dark part is close to a circle. It means a value normalized so that the value becomes closer to 1.
  • the convex polygon filling rate means the area ratio of the bright part or dark part to the area of the polygon circumscribing the bright part or dark part, and the value is closer to 1 as the bright part or dark part is linear. Become. Therefore, if the circularity of the bright part or dark part is low and the convex polygon filling rate is high, it can be determined that the shape of the bright part or dark part is an elongated shape.
  • the detection accuracy of the elongated defect can be improved by considering not only the shape feature quantity of the surface defect but also the orientation of the surface defect such as a vertical direction, a horizontal direction, or an oblique direction. .
  • the major axis / minor axis ratio is calculated as the shape feature amount of the surface defect
  • the direction in which the major axis is oriented and when the maximum ferret diameter is calculated as the shape feature amount of the surface defect, the maximum ferret diameter is obtained.
  • the rotation angle of the bright or dark image at the time the orientation of the surface defect can be confirmed.
  • the direction of the surface defect can be confirmed by applying an image to a linear filter that omits details but emphasizes a specific direction.
  • the installation position of a light source is not a right-and-left object with respect to the normal vector of a steel pipe, for example, as shown in FIG. Even if it is not vertically symmetrical or symmetric, it is possible to detect an elongated defect by the same detection process.
  • the scale and harmless pattern are flat, the appearance is the same even if the incident direction of the illumination light changes, whereas the appearance changes when the incident light of the illumination light changes in the elongated defect, An elongated defect can be detected by the above-described logic. Further, if three or more light sources are used, a plurality of patterns of difference images can be obtained, and the detection accuracy of the elongated defect can be further improved.
  • the surface defect detection processing uses the two light sources 2a and 2b that can be distinguished to substantially the same incident angle from different directions to the same inspection target site. Illuminating the illumination light L, obtaining an image of the reflected light of each illumination light L, extracting a bright part and a dark part of the image obtained by performing a difference process between the obtained images, and extracting the bright part.
  • the shape feature amount that is an index of the length of the dark portion is calculated, and the presence or absence of the elongated defect is determined based on the calculated shape feature amount, so that it is possible to accurately discriminate between the scale, the harmless pattern, and the elongated defect. .
  • a protruding ridge is a surface defect having a feature that it has an elongated shape in a straight line and is directed obliquely upward to the right with respect to the rolling direction.
  • the major and minor axis ratios and major axis angles are calculated as the surface defect shape features, and the presence or absence of protrusions is determined by comparing the calculated major and minor axis ratios and major axis angles with a predetermined threshold. did.
  • the discrimination results are shown in FIG. As shown in FIG. 26, according to the surface defect detection process of the present embodiment, it was confirmed that the protruding ridge and the healthy portion where the protruding ridge was not formed can be accurately distinguished.
  • the present invention it is possible to provide a surface defect detection method and a surface defect detection device capable of accurately discriminating between scales and harmless patterns and surface defects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Textile Engineering (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

　表面欠陥検出方法は、鋼管Ｐの表面欠陥を光学的に検出する表面欠陥検出方法であって、２つの弁別可能な光源２ａ，２ｂを利用して鋼管Ｐの同一の検査対象部位に異なる方向から照明光Ｌを照射する照射ステップと、各照明光Ｌの反射光による画像を取得し、取得した画像間で差分処理を行うことによって検査対象部位における表面欠陥を検出する検出ステップと、を含む。これにより、スケールや無害模様と表面欠陥とを精度よく弁別することができる。

Description

表面欠陥検出方法及び表面欠陥検出装置
　本発明は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法及び表面欠陥検出装置に関する。
　近年、鉄鋼製品の製造工程では、大量不適合防止による歩留まり向上の観点から、熱間又は冷間で鋼材の表面欠陥を検出することが求められている。ここで述べる鋼材とは、継目無鋼管、溶接鋼管、熱延鋼板、冷延鋼板、厚板等の鋼板や形鋼をはじめとする鉄鋼製品、及びこれら鉄鋼製品が製造される過程で生成されるスラブ等の半製品のことを意味する。このため、鋼材の表面欠陥を検出する方法として、継目無鋼管の製造工程におけるビレットに光を照射して反射光を受光し、反射光の光量によって表面欠陥の有無を判別する方法が提案されている（特許文献１参照）。また、熱間鋼材から放射される自発光と相互に影響を及ぼさず、互いに影響を及ぼしあうことのない複数の波長域の可視光を、熱間鋼材表面の法線に対し互いに対称な斜め方向から照射し、合成反射光による像及び個々の反射光による像を熱間鋼材表面の法線方向で得て、これらの像の組み合わせから熱間鋼材の表面欠陥を検出する方法も提案されている（特許文献２参照）。
特開平１１－３７９４９号公報 特開昭５９－５２７３５号公報
　特許文献１記載の方法によれば、無害模様やスケールの反射率が地鉄部分の反射率とは異なることから、健全な無害模様やスケールを表面欠陥と誤検出してしまう可能性がある。このため、特許文献１記載の方法では、ビレットの形状が直線状であることを利用してビレットとスケールとを弁別している。しかしながら、鋼材の表面欠陥は直線状だけでなく円形状等の様々な形状を有している。このため、特許文献１記載の方法を鋼材の表面欠陥の検出処理に適用することは難しい。一方、特許文献２記載の方法では、欠陥、スケール、無害模様等の種類が膨大にあることから、単純に像を組み合わせるだけではスケールや無害模様と表面欠陥とを弁別することは困難である。また、膨大な像の組み合わせに対応した検出ロジックを構築することは現実的には困難である。
　本発明は、上記課題に鑑みてなされたものであって、その目的は、スケールや無害模様と表面欠陥とを精度よく弁別可能な表面欠陥検出方法及び表面欠陥検出装置を提供することにある。
　本発明に係る表面欠陥検出方法は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって前記検査対象部位における表面欠陥を検出する検出ステップと、を含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記照射ステップは、２つ以上のフラッシュ光源を互いの発光タイミングが重ならないよう繰り返し発光させることによって照明光を照射するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記照射ステップは、２つ以上の互いに波長領域が重ならない光源の照明光を同時に照射するステップを含み、前記検出ステップは、混ざり合った各照明光の反射光を照明光の波長と同じ波長を有する光を透過するフィルターを用いて分離することによって各照明光の反射光による画像を取得するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記照射ステップは、互いに直交する直線偏光特性を有する２つの光源の照明光を同時に照射するステップを含み、前記検出ステップは、混ざり合った各照明光の反射光を互いに直交する直線偏光特性を有する２つの偏光板を用いて分離することによって各照明光の反射光による画像を取得するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記検査対象部位に対する各光源の照明光の入射角が２５°以上５５°以下の範囲内にあることを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記検出ステップは、ハーフミラー、ビームスプリッター、及びプリズムのうちのいずれかを用いて、各照明光の反射光による画像を取得する複数の撮像装置の光軸が同軸となるように調整するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記検出ステップは、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の位置関係と前記照明光の照射方向とから凹凸性の表面欠陥の有無を判定する第１判定ステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記第１判定ステップは、前記明部及び前記暗部の画像に対して膨張処理を施し、膨張処理された明部及び暗部の画像の重なり部分を抽出することによって明部及び暗部の位置関係を算出するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記第１判定ステップは、前記明部及び前記暗部の画像に対して二値化処理及びラベリング処理を施し、ラベリング処理された画像の重心位置を比較することによって明部及び暗部の位置関係を算出するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記第１判定ステップは、前記明部及び前記暗部の画像に対してフィルタリング処理を施すことによって明部及び暗部を強調することによって、明部及び暗部の位置関係を算出するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記第１判定ステップは、明部及び暗部の位置関係を算出することによって得られた前記明部と前記暗部との組み合わせから明部及び暗部の輝度比、面積比、及び円形度のうちの少なくとも１つを特徴量として算出し、算出された特徴量に基づいて凹凸性の表面欠陥の有無を判定するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記検出ステップは、各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の細長さの指標となる形状特徴量を算出し、算出された形状特徴量に基づいて細長欠陥の有無を判定する第２判定ステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記第２判定ステップは、前記形状特徴量として、楕円近似による長軸短軸比、最大フェレ径、及び円形度と凸多角形充填率のうちの少なくとも１つを算出するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記第２判定ステップは、前記形状特徴量に加えて明部及び暗部の向きに基づいて細長欠陥の有無を判定するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出方法は、上記発明において、前記第２判定ステップは、楕円近似による長軸短軸比、最大フェレ径、及び線形フィルターのうちのいずれかを用いて明部及び暗部の向きを判定するステップを含むことを特徴とする。
　本発明に係る表面欠陥検出装置は、鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射手段と、各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって前記検査対象部位における表面欠陥を検出する検出手段と、を備えることを特徴とする。
　本発明に係る表面欠陥検出装置は、鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射手段と、各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の位置関係と前記照明光の照射方向とから凹凸性の表面欠陥の有無を判定する判定手段と、を備えることを特徴とする。
　本発明に係る表面欠陥検出装置は、鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射手段と、各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の細長さの指標となる形状特徴量を算出し、算出された形状特徴量に基づいて細長欠陥の有無を判定する判定手段と、を備えることを特徴とする。
　本発明に係る表面欠陥検出方法及び表面欠陥検出装置によれば、スケールや無害模様と表面欠陥とを精度よく弁別することができる。
図１は、本発明の第１の実施形態である表面欠陥検出装置の構成を示す模式図である。 図２は、図１に示すエリアセンサの変形例の構成を示す模式図である。 図３は、図１に示す光源とエリアセンサとの駆動タイミングを示すタイミングチャートである。 図４は、表面欠陥とスケール及び無害模様とを撮影した２つの２次元画像及びその差分画像の一例を示す図である。 図５は、照明光の入射角と健全部（地鉄部分）の反射率との関係を調査する実験に用いた装置の構成を示す模式図である。 図６は、レーザーの入射角とパワーメーターの受光量との関係を示す図である。 図７は、本発明の第２の実施態様である表面欠陥検出処理を説明するための模式図である。 図８は、本発明の第３の実施態様である表面欠陥検出処理を説明するための模式図である。 図９は、実施例で利用した装置の構成を示す模式図である。 図１０は、実施例の表面欠陥検出処理結果を示す図である。 図１１は、スケールが発生した部分に対する表面欠陥検出処理結果を示す図である。 図１２は、本発明の第１の実施形態である表面欠陥検出装置の変形例の構成を示す模式図である。 図１３は、本発明の第１の実施形態である表面欠陥検出装置の他の変形例の構成を示す模式図である。 図１４は、検査対象部位の表面形状が凹形状及び凸形状である場合における一方から光を照射した時の陰影を示す図である。 図１５は、凹形状の表面欠陥の差分画像の一例を示す図である。 図１６は、膨張処理を利用した明部及び暗部の位置関係算出方法の流れを示すフローチャートである。 図１７は、差分画像及び明暗パターンの一次元プロファイルの一例を示す図である。 図１８は、フィルターの二次元画像及び一次元プロファイルの一例を示す図である。 図１９は、図１８に示すフィルターを用いたフィルター処理が施された差分画像及び一次元プロファイルの一例を示す図である。 図２０は、光源の配置位置の変形例を示す模式図である。 図２１は、図２０に示す光源の配置位置によって得られる明暗パターンを示す模式図である。 図２２は、実施例の表面欠陥検出処理結果を示す図である。 図２３は、反射光の明暗パターンができない直線状の細長欠陥の一例を示す図である。 図２４は、本発明の一実施形態である細長欠陥の検出処理の流れを示すフローチャートである。 図２５は、表面欠陥の形状特徴量の一例を説明するための図である。 図２６は、実施例の表面欠陥検出処理結果を示す図である。
　以下、図面を参照して、本発明の第１から第３の実施形態である表面欠陥検出装置の構成及びその動作について説明する。
（第１の実施形態）
　始めに、図１から図１３を参照して、本発明の第１の実施形態である表面欠陥検出装置の構成及びその動作について説明する。
〔表面欠陥検出装置の構成〕
　図１は、本発明の第１の実施形態である表面欠陥検出装置の構成を示す模式図である。図１に示すように、本発明の第１の実施形態である表面欠陥検出装置１は、図示矢印方向に搬送される円筒形状の鋼管Ｐの表面欠陥を検出する装置であり、光源２ａ，２ｂ、ファンクションジェネレータ３、エリアセンサ４ａ，４ｂ、画像処理装置５、及びモニター６を主な構成要素として備えている。
　光源２ａ，２ｂは、ファンクションジェネレータ３からのトリガー信号に従って鋼管Ｐの表面上の同一の検査対象部位に弁別可能な照明光Ｌを照射する。光源２ａ，２ｂは、検査対象部位に対して対称に配置されることが望ましい。従って、光源２ａ，２ｂは、鋼管Ｐ表面の法線ベクトルに対して同一の角度だけずらし、照明光Ｌの照射方向ベクトルと鋼管Ｐ表面の法線ベクトルとが同一平面状となるように配置されている。ここで述べる入射角の同一性とは、異なる方向の光源を弁別したときに光学条件をできるだけ等しくし、スケールや無害模様を含む健全部の信号を差分処理によって大きく低減することを目的とする。また、健全部の信号は対象の表面性状に大きく依存し、同一性を一概に一定角度で保証することは困難である。従って、２５～５５°の範囲内であれば、多少角度が異なっていても健全部の信号を差分処理によって低減できている限り同一角と表現する。なお、本実施形態では、光源の数を２つとしたが、弁別可能であれば光源の数を３つ以上にしてもよい。ここで述べる弁別可能な光源とは、対象から得られる反射光についてそれぞれの光源別に反射光量を求めることが可能となる光源を示す。
　エリアセンサ４ａ，４ｂは、ファンクションジェネレータ３からのトリガー信号に従って光源２ａ，２ｂから照射された照明光Ｌの反射光による２次元画像を撮影する。エリアセンサ４ａ，４ｂは、撮影した２次元画像のデータを画像処理装置５に入力する。エリアセンサ４ａ，４ｂは、それぞれの撮像視野を確保した状態で可能な限り検査対象部位の法線ベクトル上に設置することが望ましい。
　なお、位置合わせの問題を解決するため、エリアセンサ４ａ，４ｂをできる限り近づけ、それぞれの光軸をできる限り互いに平行にすることが望ましい。また、図２に示すように、ハーフミラー１０、ビームスプリッター、及びプリズムのうちのいずれかを用いてエリアセンサ４ａ，４ｂの光軸が同軸になるように調整してもよい。これにより、後述する差分画像を精度よく取得することができる。
　画像処理装置５は、エリアセンサ４ａ，４ｂから入力された２つの２次元画像間で後述する差分処理を行うことによって検査対象部位における表面欠陥を検出する装置である。画像処理装置５は、エリアセンサ４ａ，４ｂから入力された２次元画像や表面欠陥の検出結果に関する情報をモニター６に出力する。
　このような構成を有する表面欠陥検出装置１は、以下に示す表面欠陥検出処理を実行することによって、検査対象部位におけるスケールや無害模様と表面欠陥とを弁別する。ここで述べる表面欠陥とは凹凸性の欠陥とする。また、スケールや無害模様とは、厚さ数～数十μｍ程度の地鉄部分とは光学特性の異なる表面皮膜や表面性状を有する部分のことを意味し、表面欠陥検出処理においてノイズ要因となる部分である。以下、本発明の第１から第３の実施態様である表面欠陥検出処理について説明する。
〔第１の実施態様〕
　始めに、図３から図６を参照して、本発明の第１の実施態様である表面欠陥検出処理について説明する。
　図３は、光源２ａ，２ｂとエリアセンサ４ａ，４ｂとの駆動タイミングを示すタイミングチャートである。図中、ｄは光源２ａ，２ｂの発光時間、Ｔはエリアセンサ４ａ，４ｂによる２次元画像の撮影周期を表す。本発明の第１の実施態様である表面欠陥検出処理では、光源２ａ，２ｂをフラッシュ光源として、フラッシュ光源を互いの発光タイミングが重ならないように繰り返し発光させることによって光源２ａ，２ｂを弁別する。
　すなわち、図３に示すように、本実施態様では、始めに、ファンクションジェネレータ３が光源２ａ及びエリアセンサ４ａにトリガー信号を送信し、光源２ａが照明光Ｌを照射し、時間ｄ以内にエリアセンサ４ａが２次元画像の撮影を完了する。そして、エリアセンサ４ａによる２次元画像の撮影完了後にファンクションジェネレータ３が光源２ｂとエリアセンサ４ｂとにトリガー信号を送信し、同様に２次元画像を撮影する。本実施態様によれば、時間差ｄで光量低下を発生することなく各光源から照射された照明光Ｌに対する個々の反射光による２次元画像を撮影することができる。
　なお、鋼管Ｐの搬送速度が速い場合には、フラッシュ光源は発光時間ｄが短いものであることが望ましい。これは、発光時間ｄが短ければ短いほど、エリアセンサ４ａ，４ｂによって得られる２つの２次元画像間のシャッター遅延が小さくなり、シャッター遅延による２次元画像の位置ずれを小さくできるためである。また、個々の反射光による２次元画像の差分画像を用いて表面欠陥を検出することを目的とした時、フラッシュ光源の発光時間ｄは以下の数式（１）に示す条件を満足する必要がある。
Figure JPOXMLDOC01-appb-M000001
　検出目標の表面欠陥の大きさを例えば２０ｍｍとすると、経験上、表面欠陥を検出するためには最小５角画素の信号が必要になるので、４ｍｍ／画素の分解能があればよい。また、この場合、許容される照明光Ｌの照射タイミングによる位置ずれは、経験上、０．２画素以内とする必要があるので、鋼管Ｐの搬送速度が１、３、５ｍ／ｓである場合、光源２ａ，２ｂの発光時間はそれぞれ、８００、２７０、１６０μｓｅｃ以下でなくてはならない。なお、鋼管Ｐの搬送速度や搬送方向が一定である場合には、この位置ずれは２次元画像の撮影後に補正できる。
　本実施態様では、画像処理装置５は、エリアセンサ４ａ，４ｂから入力された２次元画像に対して予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正やノイズ除去等の画像処理を施した後、２次元画像間で差分処理を行うことによって検査対象部位における表面欠陥を検出する。
　具体的には、光源２ａから照明光Ｌを照射した時の２次元画像Ｉａを構成する各画素の輝度値をＩａ（ｘ，ｙ）（但し、画素数Ｘ×Ｙとし、ｘ座標を１≦ｘ≦Ｘ、ｙ座標を１≦ｙ≦Ｙとする）、光源２ｂから照明光Ｌを照射した時の２次元画像Ｉｂを構成する各画素の輝度値をＩｂ（ｘ，ｙ）とした時、その差分画像Ｉ＿ｄｉｆｆの各画素の輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）は以下に示す数式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、表面欠陥と欠陥でないスケール及び無害模様を撮像した２次元画像Ｉａ、Ｉｂ及びその差分画像Ｉ＿ｄｉｆｆの例をそれぞれ図４（ａ），（ｂ），（ｃ）に示す。図４（ａ），（ｂ），（ｃ）に示すように、健全部では、スケールや無害模様に関わらず法線ベクトルと光源２ａの成す角と法線ベクトルと光源２ｂの成す角とが等しいため、輝度値Ｉａ（ｘ，ｙ）＝輝度値Ｉｂ（ｘ，ｙ）、すなわち輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）＝０となる。しかしながら、表面欠陥部分では、表面が凹凸形状を有するため、法線ベクトルと光源２ａの成す角と法線ベクトルと光源２ｂの成す角とが等しくない箇所が必ず存在し、輝度値Ｉａ（ｘ，ｙ）≠輝度値Ｉｂ（ｘ，ｙ）、すなわち輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）≠０となる。
　従って、差分器１１によって２つの２次元画像の差分画像を生成することによって欠陥でないスケールや無害模様が除去され、表面欠陥のみを検出することができる。そして、このようにして表面欠陥のみを検出し、様々な特徴量により表面欠陥が有害かどうか最終的な評価を行い、モニター６に評価結果を表示する。
　なお、２つの２次元画像間に位置ずれがあり、差分画像に影響を与える場合には、２次元ローパスフィルタをかけ、２次元画像間の位置ずれの影響を軽減させることが望ましい。この場合、２次元ローパスフィルタをＨとすると、差分画像の輝度値Ｉ’＿ｄｉｆｆ（ｘ，ｙ）は以下に示す数式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　また、光源２ａ，２ｂは同一のものを用いて、各光源はなるべく均一な平行光となるように照射し、検査対象部位は平面に近い方がよい。しかしながら、表面が多少均一でない場合や鋼管Ｐのようななだらかな曲面に対する適用においても、一般的なシェーディング補正により表面欠陥を検出することができる。
　また、照明光Ｌの入射角に関しては、健全部の反射光に鏡面反射成分が入らず、且つ、十分な光量を確保できる範囲にすることが望ましい。本発明の発明者らは、照明光Ｌの入射角と健全部（地鉄部分）の反射率との関係を調査する実験を行った。実験に用いた装置の構成を図５に示す。図５に示すように、本実験では、パワーメーター１２を鋳片サンプル１４の真上の位置に固定し、レーザー１３の入射角θを０°から９０°まで変化させた時のパワーメーター１２の受光量を計測した。実験結果を図６に示す。図６に示すように、入射角θが０°から２０°の範囲内では、鏡面反射成分が含まれているためにパワーメーター１２の受光量は大きいが、入射角θが６０°以上になるとパワーメーター１２の受光量は大きく低下する。従って、照明光Ｌの入射角は検査対象部位の法線ベクトルに対して２５°から５５°の範囲内にすることが望ましい。
　検査対象部位の深さ方向の分解能は、欠陥の傾斜角及びエリアセンサ４ａ，４ｂの分解能に依存する。ここで、欠陥の傾斜角とは、「欠陥部の法線ベクトル」を「検査対象部位の健全部表面の法線ベクトルと光源方向ベクトルとが成す平面」に正射影し、正射影されたベクトルと健全部表面の法線ベクトルとの成す角を取ったものである。検査対象部位の表面性状にも依存するが、例えば入射角４５°で入射光を照射したとき、欠陥の傾斜角が光源方向に対して約１０°以上であれば、差分処理によって欠陥信号を検出できることが確認されている。従って、１画素の分解能を０．５ｍｍと仮定すると、理論上０．５×ｔａｎ１０°＝０．０９ｍｍ程度の深さ方向の分解能を持つことになる。
〔第２の実施態様〕
　次に、図７を参照して、本発明の第２の実施態様である表面欠陥検出処理について説明する。
　本発明の第２の実施態様である表面欠陥検出処理では、光源２ａ，２ｂを互いに波長領域が重ならない光源とすることによって光源２ａ，２ｂを弁別する。具体的には、図７に示すように、光源２ａ，２ｂに波長領域が重ならない２種類の波長選択フィルター２０ａ，２０ｂを設置し、照明光Ｌの波長領域を選択する。また、同一の波長選択特性を有する波長選択フィルター２１ａ，２１ｂをエリアセンサ４ａ，４ｂに設置する。
　このような構成によれば、光源２ａからの照明光Ｌの反射光は波長選択フィルター２０ａ，２１ａによってエリアセンサ４ａのみで受光され、光源２ｂからの照明光Ｌの反射光は波長選択フィルター２０ｂ，２１ｂによってエリアセンサ４ｂのみで受光される。従って、エリアセンサ４ａ，４ｂの撮影タイミングを一致させることにより、位置ずれなく光源２ａ，２ｂからの照明光Ｌの反射光による２次元画像を撮影することができる。２次元画像を撮影した後の処理は第１の実施態様と同様である。
　なお、検査対象部位の移動速度が大きい場合には、検査対象部位の移動による位置ずれを防止するために光源２ａ，２ｂをフラッシュ光源とし、光源２ａ，２ｂの照射タイミングを変化させずに２次元画像の撮影時間を短縮させてもよい。また、波長選択フィルター２０ａを青色透過フィルター、波長選択フィルター２０ｂを緑色透過フィルターとし、１台のカラーカメラを用いて２次元画像を撮影することにより、青チャンネルには光源２ａからの照明光Ｌの反射光のみが受光され、緑チャンネルには光源２ｂからの照明光Ｌの反射光のみが受光されるといったように構成してもよい。
〔第３の実施態様〕
　次に、図８を参照して、本発明の第３の実施態様である表面欠陥検出処理について説明する。
　本発明の第３の実施態様である表面欠陥検出処理では、光源２ａ，２ｂを互いに直交する直線偏光特性を有する光源とすることによって光源２ａ，２ｂを弁別する。具体的には、図８に示すように、光源２ａ，２ｂに直線偏光板３０ａ，３０ｂをα°及び（α＋90）°（αは任意の角度）で設置し、それぞれ互いに直交する偏光成分の光のみ透過させる。ここで、直線偏光板とは、入射光に対して一定方向の直線偏光成分のみ透過させるフィルターのことを意味する。また、直線偏光板３０ａ，３０ｂと同一の直線偏光特性を有する直線偏光板３１ａ，３１ｂをα°及び（α＋90）°でエリアセンサ４ａ，４ｂに設置する。
　このような構成によれば、光源２ａからの照明光Ｌの反射光はエリアセンサ４ａのみで受光され、光源２ｂからの照明光Ｌの反射光はエリアセンサ４ｂのみで受光される。従って、エリアセンサ４ａ，４ｂの撮影タイミングを一致させることにより、位置ずれなく各光源からの照明光の反射光による２次元画像を撮影することができる。
　なお、検査対象部位の移動速度が大きい場合には、光源２ａ，２ｂをフラッシュ光源とし、光源２ａ，２ｂの照射タイミングを変化させずに２次元画像の撮影時間を短縮させてもよい。以下、位置合わせ及び２次元画像撮影後の処理は第１及び第２の実施態様と同様である。
［実施例］
　本実施例では、図９に示すように、光源２ａ，２ｂとしてフラッシュ光源を用い、光源２ａ，２ｂの発光タイミングを変化させる方法を用いて鋼管Ｐの表面欠陥を検出した。エリアセンサ４ａ，４ｂは並列させて２次元画像を撮影し、画像処理により位置合わせを行った。図１０に表面欠陥の検出結果を示す。図１０（ａ）が光源２ａから照明光Ｌを照射した時の２次元画像、図１０（ｂ）が光源２ｂから照明光Ｌを照射した時の２次元画像、図１０（ｃ）が図１０（ａ）に示す２次元画像と図１０（ｂ）に示す２次元画像との差分画像である。図１０（ａ）～（ｃ）に示す画像のＳ／Ｎ比は順に３．５、３．５、６．０であり、単に一方向から照明光Ｌを照射した場合よりも差分画像のＳＮ比が向上した。
　図１１は、スケールが発生した鋼管部分に対する表面欠陥検出処理結果を示す図である。図１１（ａ）が光源２ａから照明光Ｌを照射した時の２次元画像、図１１（ｂ）が光源２ｂから照明光Ｌを照射した時の２次元画像、図１１（ｃ）が図１１（ａ）に示す２次元画像と図１１（ｂ）に示す２次元画像との差分画像である。図１１（ａ），（ｂ）に示す２次元画像全体に広がっている黒斑点がノイズとなるスケールである。スケールの形状は平らであるので、差分画像を取得することによってスケールの画像は除去された。また、差分画像では、単に一方向から照明光Ｌを照射した場合と比較して、ノイズとなるスケールの信号が１／４程度に低減された。
［変形例１］
　図１２は、本発明の第１の実施形態である表面欠陥検出装置の変形例の構成を示す模式図である。図１２に示すように、本変形例は、１つの光源２ａから照射した照明光を複数のミラー４０ａ，４０ｂ，４０ｃ，４０ｄにより分割し、最終的に２方向から鋼管Ｐ１の検査対象部位に照明光を照射する。この場合、照明光の各光路に波長選択フィルター２０ａ，２０ｂや直線偏光板３０ａ，３０ｂを設置することにより、第２及び第３の実施形態と同様の効果を得ることができる。なお、本変形例は照明光を２方向から照射するものであるが、３方向以上から照明光を照射する場合も同様である。
［変形例２］
　図１３は、本発明の第１の実施形態である表面欠陥検出装置の他の変形例の構成を示す模式図である。図１３に示すように、本変形例は、図７に示す表面欠陥検出装置において、波長選択フィルター２０ａ，２０ｂによって光源の波長を限定するのではなく、パルスレーザー５１ａ，５１ｂと拡散板５０ａ，５０ｂとを用いて光源の波長を限定するものである。本変形例では、互いに波長領域が異なる２つのパルスレーザー５１ａ，５１ｂからのレーザー光を検査対象部位の左右方向から照射して光源を弁別する。このとき、パルスレーザー５１ａ，５１ｂから照射されたレーザー光を検査対象部位全域に照射するためにレーザー光の光路に拡散板５０ａ，５０ｂを挿入する。なお、本変形例は２方向から照明光を照射するものであるが、３方向以上から照明光を照射する場合も同様である。
［変形例３］
　本変形例は、図７に示す表面欠陥検出装置において、エリアセンサ４ａ，４ｂに設置する波長選択フィルター２１ａ，２１ｂの代わりにダイクロックミラーを用いるものである。ダイクロックミラーとは、特定の波長成分の光を反射し、その他の波長成分の光を透過するミラーのことである。ダイクロックミラーを用いることによって波長選択フィルターが不要となる。なお、本変形例は２方向から照明光を照射するものであるが、３方向以上から照明光を照射する場合も同様である。
（第２の実施形態）
　次に、図１４から図２２を参照して、本発明の第２の実施形態である表面欠陥検出装置の構成及びその動作について説明する。なお、本実施形態の表面欠陥検出装置の構成は上記第１の実施形態の表面欠陥検出装置の構成と同じであるので、以下ではその構成の説明を省略し、表面欠陥検出装置の動作についてのみ説明する。
　本発明の第２の実施形態である表面欠陥検出装置１は、以下に示す表面欠陥検出処理を実行することによって、検査対象部位におけるスケールや無害模様と凹凸性の表面欠陥とを弁別する。なお、スケールや無害模様とは、厚さ数～数十μｍ程度の地鉄部分とは光学特性の異なる表面皮膜や表面性状を有する部分のことを意味し、表面欠陥検出処理においてノイズ要因となる部分である。
〔表面欠陥検出処理〕
　本発明の一実施形態である表面欠陥検出処理では、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの２次元画像に対して予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像処理を施した後、２次元画像間で差分処理を行うことによって差分画像を生成し、生成された差分画像から検査対象部位における凹凸性の表面欠陥を検出する。
　具体的には、光源２ａから照明光Ｌを照射した時に得られた２次元画像Ｉａを構成する各画素の輝度値をＩａ（ｘ，ｙ）（但し、画素数Ｘ×Ｙとし、ｘ座標を１≦ｘ≦Ｘ、ｙ座標を１≦ｙ≦Ｙとする）、光源２ｂから照明光Ｌを照射した時に得られた２次元画像Ｉｂを構成する各画素の輝度値をＩｂ（ｘ，ｙ）とした時、差分処理によって得られる差分画像Ｉ＿ｄｉｆｆの各画素の輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）は既に述べた数式（１）で表される。
　ここで、図４に示したように、健全部では、スケールや無害模様の有無に関わらず表面の法線ベクトルと光源２ａの成す角と表面の法線ベクトルと光源２ｂの成す角とが等しいため、輝度値Ｉａ（ｘ，ｙ）＝輝度値Ｉｂ（ｘ，ｙ）、すなわち輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）＝０となる。しかしながら、凹凸性の表面欠陥部分では、表面が凹凸形状を有するため、表面の法線ベクトルと光源２ａの成す角と表面の法線ベクトルと光源２ｂの成す角とが等しくない箇所が必ず存在し、輝度値Ｉａ（ｘ，ｙ）≠輝度値Ｉｂ（ｘ，ｙ）、すなわち輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）≠０となる。従って、差分器１１によって２つの２次元画像の差分画像Ｉ＿ｄｉｆｆを生成することによって表面欠陥でない健全なスケールや無害模様の画像を除去することができる。
　次に、差分画像Ｉ＿ｄｉｆｆから凹凸性の表面欠陥を検出するロジックについて説明する。図１４（ａ），（ｂ）はそれぞれ、検査対象部位の表面形状が凹形状及び凸形状である場合における一方の光源から検査対象部位に照明光を照射した時の陰影を示す図である。図１４（ａ）に示すように、検査対象部位の表面形状が凹形状である場合、光源の手前側が単位面積当たりの照射光の光量低下によって暗くなり、光源の奥側が正反射方向に近づくため明るくなる。これに対して、図１４（ｂ）に示すように、検査対象部位の表面形状が凸形状である場合には、光源の手前側が正反射方向に近づくため明るくなり、光源の奥側が凸形状の影となり暗くなる。
　すなわち、検査対象部位の表面形状が凹形状である場合と凸形状である場合とで照明光の反射光の明暗パターンが異なる。従って、反射光の明暗パターンを認識することによって凹凸性の表面欠陥の有無を検出することができる。そこで、以下では、反射光の明暗パターンを認識することによって凹凸性の表面欠陥を検出する方法について述べる。なお、以下では、凹凸性の表面欠陥のうち、凹形状の表面欠陥を検出するものとするが、凸形状の表面欠陥も同様のロジックで検出することができる。また、以下で述べる明部とは、差分画像Ｉ＿ｄｉｆｆにおいて輝度が所定閾値以上である画素に対して連結処理を行うことによって得られる所定値以上の面積を持つブロブを意味する。また、以下で述べる暗部とは、差分画像Ｉ＿ｄｉｆｆにおいて輝度が所定閾値以下である画素に対して連結処理を行うことによって得られるある所定値以上の面積を持つブロブを指す。ブロブとはラベリングされた画素の集合を意味する。
　本実施形態では、閾値処理を行うことによって明部と暗部とを抽出することにより明暗パターンを認識する。具体的には、本実施形態の表面欠陥検出装置１では、光源２ａ，２ｂは検査対象部位の法線ベクトルに対して左右対称に配置されているため、表面の凹凸形状に起因する反射光の明暗パターンは左右方向に発生する。明暗の左右は差分処理の順番によって逆となるため、ここでは右が明・左が暗である場合を凹形状、右が暗・左が明である場合を凸形状とする。従って、凹形状の表面欠陥の差分画像Ｉ＿ｄｉｆｆは図１５に示すようになる。そこで、明部と暗部の画像をそれぞれ輝度閾値Ｔｈｅ，－Ｔｈｅによって二値化すると、明部及び暗部の二値化画像Ｉ＿ｂｌｉｇｈｔ，Ｉ＿ｄａｒｋはそれぞれ以下に示す数式（４）のように表される。
Figure JPOXMLDOC01-appb-M000004
　そして、このようにして明部及び暗部の画像を二値化し、必要に応じて連結・孤立点除去を行った後、明部及び暗部の位置関係を算出することによって凹凸性の表面欠陥の有無を検出する。なお、明部及び暗部の位置関係の算出方法には様々な方法があり、以下では代表的な３つの算出方法を述べるが、その他の算出方法であっても明部と暗部の位置関係が算出できればよい。
　第１の位置関係算出方法は、明部及び暗部に対して特定方向の膨張収縮処理を施すことによって明部及び暗部の位置関係を算出する方法である。本算出方法のフローチャートを図１６に示す。本実施形態では、凹形状の表面欠陥を検出するため、右が明、左が暗である明暗のパターンを認識する場合について説明する。右が明、左が暗ということは明部の左側には必ず暗部があり、暗部の右側には必ず明部があるということである。そこで、本算出方法では、始めに、画像処理装置５が、暗部に対して右方向に膨張処理を施し、明部に対しては左方向に膨張処理を施す（ステップＳ１ａ，Ｓ１ｂ）。ここで、膨張処理が施された明部及び暗部の画像をそれぞれI_blight_extend、I_dark_extendとし、膨張する長さをＷとすると膨張処理は以下に示す数式（５）のように表される。但し、二次元画像の左上を原点として下方向をｙ軸方向正、右方向をｘ軸方向正とする。
Figure JPOXMLDOC01-appb-M000005
　なお、本実施形態では、明部と暗部とを同じ長さＷだけ膨張させているが、膨張する長さＷは必ずしも同じである必要は無く、極端に述べれば明部及び暗部の一方のみに対して膨張処理を施してもよい。また、膨張する長さＷは検出したい表面欠陥の大きさにも依存する。
　次に、画像処理装置５は、以下に示す数式（６）のように膨張処理が施された明部及び暗部の画像I_blight_extend、I_dark_extendに対してand処理を行うことにより、膨張処理が施された明部及び暗部の画像I_blight_extend、I_dark_extendの重なり部分を欠陥候補部画像I_defectとして抽出する（ステップＳ２ａ，Ｓ２ｂ）。
Figure JPOXMLDOC01-appb-M000006
　次に、画像処理装置５は、得られた各欠陥候補部画像I_defectに対して、必要に応じて連結・孤立点除去処理を行った後、ラベリング処理を行うことによって、欠陥候補ブロブI_defect_blobを生成する（ステップＳ３）。そして、画像処理装置５は、各欠陥候補ブロブI_defect_blobの特徴量を抽出し、抽出結果に基づいて各欠陥候補ブロブI_defect_blobが凹形状の表面欠陥であるか否かを判別する（ステップＳ４ａ，Ｓ４ｂ）。なお、欠陥候補ブロブI_defect_blobの特徴量を調査するためには、明部及び暗部の情報が必要となるため、欠陥候補ブロブI_defect_blobから明部と暗部を復元する。
　具体的には、欠陥候補部の右側には必ず明部が存在し、左側には必ず暗部が存在するため、画像処理装置５は、欠陥候補ブロブI_defect_blobの重心を起点として暗部二値化画像I_darkを左側に探索し、最初に見つかったブロブを暗部欠陥候補ブロブI_dark_blobとする。同様に、画像処理装置５は、欠陥候補ブロブI_defect_blobの重心を起点として明部二値化画像I_blightを右側に探索し、最初に見つかったブロブを明部欠陥候補ブロブI_blight_blobとする。そして、画像処理装置５は、こうして復元された明部欠陥候補ブロブI_blight_blob及び暗部欠陥候補ブロブI_dark_blobから特徴量を抽出し、抽出された特徴量に基づいて各欠陥候補ブロブI_defect_blobが凹形状の表面欠陥であるか否かを判別する。具体的な特徴量は欠陥により異なるため、ここでは述べず後述する実施例で一例を挙げる。
　第２の位置関係算出方法では、上述の閾値処理を行い、必要に応じて連結・孤立点除去処理を行った後、明部及び暗部を抽出してラベリングを実施し、明部及び暗部の位置関係を認識することにより凹形状の表面欠陥を検出する。具体的には、始めに、画像処理装置５は、ラベリングにより明部及び暗部を個別に認識し、明部及び暗部の重心情報を得る。次に、画像処理装置５は、明部及び暗部の重心情報から各明部の右側の所定範囲内に暗部の重心が存在するか否かを判定する。そして、暗部の重心が存在する場合、画像処理装置５は、対となる明部と暗部との組み合わせを明暗パターンとして認識し、明暗パターンの特徴量解析を行うことによって、凹形状の表面欠陥であるか否かを判別する。なお、ここでは重心情報を用いて明暗パターンを認識したが、明部及び暗部の位置が把握できる情報（例えば上端位置や下端位置等）であれば、明暗パターンの認識に用いる情報は必ずしも重心情報でなくてよい。
　第３の位置関係算出方法では、上述の閾値処理を行わず、フィルターを用いて明暗パターンを認識することによって、凹形状の表面欠陥を検出する。具体的には、図１に示す表面欠陥検出装置１では、光源２ａ，２ｂが検査対象部位の法線に対して左右対称に配置されているため、表面の凹凸に起因する明暗パターンは左右方向に発生する。図１７（ａ），（ｂ）はそれぞれ、差分画像の一例及び図１７（ａ）に示す線分Ｌ４における明暗パターンの一次元プロファイルを示す図である。
　図１７（ａ），（ｂ）に示すように、凹形状の表面欠陥では右が明、左が暗であるため、明暗パターンの一次元プロファイルは右側が山形、左側が谷形の特徴的な一次元プロファイルになる。そこで、本実施形態では、右側が山形、左側が谷形となるようなフィルターＨを予め作成し、以下の数式（７）に示すように差分画像I_diffにフィルターＨをかけることにより、高周波数のノイズが低減され、明暗パターンのみが強調された二次元画像I_contを生成する。
Figure JPOXMLDOC01-appb-M000007
　図１８（ａ），（ｂ）はそれぞれ予め作成したフィルターＨの二次元画像及びその左右方向の一次元プロファイルの一例を示す図である。図１９（ａ），（ｂ）はそれぞれ、図１８（ａ），（ｂ）に示すフィルターＨを用いたフィルター処理が施された差分画像及びその左右方向の一次元プロファイルを示す図である。図１９（ａ），（ｂ）に示すように、高周波数のノイズが低減され、明暗パターンのみが強調された二次元画像が得られることがわかる。
　なお、必要に応じて、幅方向にレンジが異なるフィルターを数種類用意しておくことにより、多くの表面欠陥サイズに対応できるようにしてもよい。画像処理装置５は、このようにして明暗パターンが強調された二次元画像に対して、必要に応じて連結・孤立点除去処理を施した後、閾値処理を行うことによって欠陥候補部画像I_defectを抽出する。そして、画像処理装置５は、抽出された欠陥候補部画像I_defectに対して第１の位置関係算出方法と同様の処理を施すことによって、凹形状の表面欠陥を検出する。
　以上の説明から明らかなように、本発明の一実施形態である表面欠陥検出処理は、２つの弁別可能な光源２ａ，２ｂを利用して同一の検査対象部位に異なる方向から略同一の入射角度で照明光Ｌを照射し、各照明光Ｌの反射光による画像を取得し、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の位置関係と照明光Ｌの照射方向とから凹凸性の表面欠陥の有無を判定するので、スケールや無害模様と凹凸性の表面欠陥とを精度よく弁別することができる。
　なお、本実施形態では、光源を左右対称に設置したために左右の明暗パターンを認識したが、光源の設置位置が左右ではなく、上下対称又は対称でなかったとしても同様の処理によって凹凸性の表面欠陥を検出することができる。具体的には、光源が上下対称に配置されている場合には、明暗パターンが左右方向から上下方向に変わるだけであるので、明暗パターンを９０度回転させれば同様の処理によって凹凸性の表面欠陥を検出することができる。
　また、図２０に示すように照明光の照射方向が９０度異なるように光源２ａ，２ｂを設置した場合には、表面欠陥が凹形状であれば光源の手前側が暗く奥側が明るくなり、表面欠陥が凸形状であれば光源の手前側が明るく、奥側が暗くなる。具体的には、表面欠陥が凹形状である場合、光源２ａからの照明光によって得られる二次元画像は図２１（ａ）に示すようになり、光源２ｂからの照明光によって得られる二次元画像は図２１（ｂ）に示すようになる。このため、差分画像は図２１（ｃ）に示すような左下から右上にかけてコントラストがある明暗パターンとなる。従って、明暗パターンを４５度回転させれば、左右方向の明暗パターンと同様の方法によって凹形状の表面欠陥を検出することができる。さらに、３つ以上の光源を用いることによって、それぞれ複数パターンの差分画像を得ることができるので、表面欠陥の検出精度をより向上させることができる。
　また、本実施形態では検査対象部位の法線に対して対称となる方向から照明光を照射した場合について凹凸性の表面欠陥を検出したが、照明光の照射方向は必ずしも対称である必要はない。また、本実施形態の表面欠陥検出処理は熱間、冷間に関わらず鋼材の製造ライン全般に適用することができる。
［実施例］
　本実施例では、ピット疵が形成されている検査対象部位とピット疵が形成されていない健全な検査対象部位に対して上記第１の位置関係算出方法を用いた表面欠陥検出処理を適用した。本実施例では、特徴量として、明部及び暗部の輝度比、面積比、及び円形度を算出した。円形度とは、明部及び暗部の面積をその周の長さの二乗で割って正規化した値であり、明部及び暗部の形状が円形状に近いか否かを判定する際に用いられる。同一起因の表面欠陥であれば、左右の信号で輝度や面積が著しく異なるということは考えにくく、輝度比や面積比を用いて左右のバランスを評価することによって表面欠陥の検出精度が向上する。また、陰影を評価するため明部及び暗部が円形状になることはほとんどなく、円形状に近いものは別起因であると判断できるために、特徴量に円形度を組み入れた。また、明部及び暗部の面積を算出し、面積が所定値以上である表面欠陥のみを検出できるようにした。検出結果を図２２に示す。図２２に示すように、本実施例によれば、ピット疵とピット疵が形成されていない健全部とを精度よく弁別できることが確認された。
（第３の実施形態）
　次に、図２３から図２６を参照して、本発明の第３の実施形態である表面欠陥検出装置の構成及びその動作について説明する。なお、本実施形態の表面欠陥検出装置の構成は上記第１及び第２の実施形態の表面欠陥検出装置の構成と同じであるので、以下ではその構成の説明を省略し、表面欠陥検出装置の動作についてのみ説明する。
　本発明の第３の実施形態である表面欠陥検出装置１は、以下に示す表面欠陥検出処理を実行することによって、検査対象部位におけるスケールや無害模様と凹凸性の表面欠陥とを弁別する。なお、スケールや無害模様とは、厚さ数～数十μｍ程度の地鉄部分とは光学特性の異なる表面皮膜や表面性状を有する部分のことを意味し、表面欠陥検出処理においてノイズ要因となる部分である。
〔表面欠陥検出処理〕
　上記第２の実施形態である表面欠陥検出装置１は、反射光の明暗パターンを認識することによって凹凸性の表面欠陥の有無を検出した。しかしながら、表面欠陥の形状や位置によっては、反射光の明暗パターンができないことがある。具体的には、特に鋼管の表面において法線ベクトル方向がエリアセンサの光軸方向と大きく異なり、且つ、図２３に示すように表面欠陥の形状が細長い場合には、明部及び暗部の一方が視野から隠れ、明部及び暗部の他方のみが検出されるために、反射光の明暗パターンができないことがある。
　そこで、本発明の一実施形態である表面欠陥検出処理は、反射光の明暗パターンを認識することによって凹凸性の表面欠陥を検出するロジックとは別に、表面欠陥の形状を認識することによって細長欠陥を検出するロジックを備えている。ここで述べる細長欠陥とは、直線状に細長い形状特徴を持つ表面欠陥のことを意味する。図２４は、本発明の一実施形態である細長欠陥の検出処理の流れを示すフローチャートである。なお、本実施形態では、検出対象の表面欠陥を凹形状の細長欠陥とするが、凸形状の細長欠陥についても、明部及び暗部の他方しか検出されない場合には本検出処理によって検出できる。
　本発明の一実施形態である表面欠陥検出処理では、始めに、画像処理装置５が、明部及び暗部の差分画像を所定の輝度閾値で二値化し、必要に応じて連結・孤立点除去を行った後、明部及び暗部の画像にラベリング処理を施す（ステップＳ１ａ，Ｓ１ｂ）。次に、画像処理装置５は、ラベリング処理された明部及び暗部の画像のうち、所定の閾値以上の面積を有する明部及び暗部の画像を抽出する（ステップＳ２）。そして、画像処理装置５は、抽出された明部及び暗部の画像について細長さの指標となる表面欠陥の形状特徴量を算出し、算出された表面欠陥の形状特徴量に基づいて細長欠陥を検出する（ステップＳ３）。
　ここで、細長さの指標となる表面欠陥の形状特徴量としては、楕円の長軸短軸比、最大フェレ径、円形度、及び凸多角形充填率を例示することができる。具体的には、形状特徴量として長軸短軸比を算出する場合、図２５（ａ）に示すように、始めに、画像処理装置５は、明部又は暗部の画像に対して楕円Ｒをフィッティングする。画像に楕円をフィッティングする方法としては最小二乗法や二次モーメント導出法等があるが、計算時間を考慮すると二次モーメント導出法の方が有用である。そして、画像処理装置５は、フィッティングした楕円Ｒの長軸Ｌ１及び短軸Ｌ２の長さを算出し、算出された長軸Ｌ１と短軸Ｌ２との比を形状特徴量とする。
　一方、フェレ径とは、図２５（ｂ）に示すように、明部又は暗部の画像を１次元に正射影した時の写像の長さＬ３のことである。形状特徴量として最大フェレ径を算出する場合、始めに、画像処理装置５は、明部又は暗部の画像を１８０度回転させながら正射影の長さの最大値を最大フェレ径として算出する。そして、画像処理装置５は、最大フェレ径が算出された箇所に直交する方向のフェレ径と最大フェレ径との比を形状特徴量とする。
　また、図２５（ｃ）に示すように、円形度とは、明部又は暗部の面積を明部及び暗部の周の長さの二乗で割った値を明部又は暗部の形状が円に近いほど値が１に近くなるように正規化した値のことを意味する。また、凸多角形充填率とは、明部又は暗部に外接する多角形の面積に対する明部又は暗部の面積率のことを意味し、明部又は暗部が直線状であるほど値は１に近くなる。従って、明部又は暗部の円形度が低く、逆に凸多角形充填率が高ければ、その明部又は暗部の形状は細長形状であると判定できる。
　なお、細長欠陥を検出する際、表面欠陥の形状特徴量だけでなく、縦向き、横向き、又は斜め向き等の表面欠陥の向きも考慮することにより、細長欠陥の検出精度を向上させることができる。例えば、表面欠陥の形状特徴量として長軸短軸比を算出した場合は長軸が向いている方向、表面欠陥の形状特徴量として最大フェレ径を算出した場合には最大フェレ径が得られた時の明部又は暗部の画像の回転角を求めることにより、表面欠陥の向きを確認できる。また、詳細は割愛するが特定方向を強調する線形フィルターに画像をかけることにより表面欠陥の向きを確認することもできる。
　また、本実施形態では、鋼管の法線ベクトルに対して光源を左右対称に設置したが、光源の設置位置が鋼管の法線ベクトルに対して左右対象ではなく、例えば図２０に示したように上下対称又は対称でなくても、同様の検出処理によって細長欠陥を検出することができる。また、スケールや無害模様は平坦であるため照明光の入射方向が変化しても見え方が同じであるのに対して、細長欠陥では照明光の入射光が変化すると見え方が変化するため、上述のロジックによって細長欠陥を検出することができる。さらに、３つ以上の光源を用いれば、それぞれ複数パターンの差分画像が得られるので、細長欠陥の検出精度をさらに向上させることができる。
　以上の説明から明らかなように、本発明の一実施形態である表面欠陥検出処理は、２つの弁別可能な光源２ａ，２ｂを利用して同一の検査対象部位に異なる方向から略同一の入射角度で照明光Ｌを照射し、各照明光Ｌの反射光による画像を取得し、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の細長さの指標となる形状特徴量を算出し、算出された形状特徴量に基づいて細長欠陥の有無を判定するので、スケールや無害模様と細長欠陥とを精度よく弁別することができる。
［実施例］
　本実施例では、はみ出し疵が形成されている検査対象部位とはみ出し疵が形成されていない健全な検査対象部位に対して本発明の表面欠陥検出処理を適用した。はみ出し疵とは、直線状に細長い形状を有し、圧延方向に対して右斜め上方向に向いているという特徴を有する表面欠陥である。表面欠陥の形状特徴量としては長軸短軸比及び長軸角度を算出し、算出された長軸短軸比及び長軸角度と所定の閾値とを比較することによって、はみ出し疵の有無を判別した。判別結果を図２６に示す。図２６に示すように、本実施形態の表面欠陥検出処理によれば、はみ出し疵とはみ出し疵が形成されていない健全部とを精度よく弁別できることが確認された。
　以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
　本発明によれば、スケールや無害模様と表面欠陥とを精度よく弁別可能な表面欠陥検出方法及び表面欠陥検出装置を提供することができる。
　１　表面欠陥検出装置
　２ａ，２ｂ　光源
　３　ファンクションジェネレータ
　４ａ，４ｂ　エリアセンサ
　５　画像処理装置
　６　モニター
　Ｌ　照明光
　Ｐ　鋼管

Claims (12)

  1. 　鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、
    　２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、
    　各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって前記検査対象部位における表面欠陥を検出する検出ステップと、
    　を含むことを特徴とする表面欠陥検出方法。
  2. 　前記照射ステップは、２つ以上のフラッシュ光源を互いの発光タイミングが重ならないよう繰り返し発光させることによって照明光を照射するステップを含むことを特徴とする請求項１に記載の表面欠陥検出方法。
  3. 　前記照射ステップは、２つ以上の互いに波長領域が重ならない光源の照明光を同時に照射するステップを含み、前記検出ステップは、混ざり合った各照明光の反射光を照明光の波長と同じ波長を有する光を透過するフィルターを用いて分離することによって各照明光の反射光による画像を取得するステップを含むことを特徴とする請求項１に記載の表面欠陥検出方法。
  4. 　前記検出ステップは、ハーフミラー、ビームスプリッター、及びプリズムのうちのいずれかを用いて、各照明光の反射光による画像を取得する複数の撮像装置の光軸が同軸となるように調整するステップを含むことを特徴とする請求項１から３のうち、いずれか１項に記載の表面欠陥検出方法。
  5. 　前記検出ステップは、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の位置関係と前記照明光の照射方向とから凹凸性の表面欠陥の有無を判定する第１判定ステップを含むことを特徴とする請求項１から４のうち、いずれか１項に記載の表面欠陥検出方法。
  6. 　前記第１判定ステップは、前記明部及び前記暗部の画像に対して膨張処理を施し、膨張処理された明部及び暗部の画像の重なり部分を抽出することによって明部及び暗部の位置関係を算出するステップを含むことを特徴とする請求項５に記載の表面欠陥検出方法。
  7. 　前記第１判定ステップは、前記明部及び前記暗部の画像に対して二値化処理及びラベリング処理を施し、ラベリング処理された画像の重心位置を比較することによって明部及び暗部の位置関係を算出するステップを含むことを特徴とする請求項５に記載の表面欠陥検出方法。
  8. 　前記検出ステップは、各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の細長さの指標となる形状特徴量を算出し、算出された形状特徴量に基づいて細長欠陥の有無を判定する第２判定ステップを含むことを特徴とする請求項１から７のうち、いずれか１項に記載の表面欠陥検出方法。
  9. 　前記第２判定ステップは、前記形状特徴量に加えて明部及び暗部の向きに基づいて細長欠陥の有無を判定するステップを含むことを特徴とする請求項８に記載の表面欠陥検出方法。
  10. 　鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、
    　２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射手段と、
    　各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって前記検査対象部位における表面欠陥を検出する検出手段と、
    　を備えることを特徴とする表面欠陥検出装置。
  11. 　鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、
    　２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射手段と、
    　各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の位置関係と前記照明光の照射方向とから凹凸性の表面欠陥の有無を判定する判定手段と、
    　を備えることを特徴とする表面欠陥検出装置。
  12. 　鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、
    　２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射手段と、
    　各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって得られた画像の明部及び暗部を抽出し、抽出された明部及び暗部の細長さの指標となる形状特徴量を算出し、算出された形状特徴量に基づいて細長欠陥の有無を判定する判定手段と、
    　を備えることを特徴とする表面欠陥検出装置。
PCT/JP2014/084077 2013-12-27 2014-12-24 表面欠陥検出方法及び表面欠陥検出装置 WO2015098929A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US15/107,241 US10180401B2 (en) 2013-12-27 2014-12-24 Surface defect detecting method and surface defect detecting apparatus
RU2016129424A RU2637723C1 (ru) 2013-12-27 2014-12-24 Способ обнаружения дефектов поверхности и устройство для обнаружения дефектов поверхности
CN201480071110.5A CN105849534B (zh) 2013-12-27 2014-12-24 表面缺陷检测方法及表面缺陷检测装置
CA2934796A CA2934796C (en) 2013-12-27 2014-12-24 Surface defect detecting method and surface defect detecting apparatus
EP14873854.5A EP3088874B1 (en) 2013-12-27 2014-12-24 Surface defect detection method and surface defect detection device
ES14873854T ES2942266T3 (es) 2013-12-27 2014-12-24 Método de detección de defectos de superficie y dispositivo de detección de defectos de superficie
KR1020167016851A KR101832081B1 (ko) 2013-12-27 2014-12-24 표면 결함 검출 방법 및 표면 결함 검출 장치
US16/112,939 US10705027B2 (en) 2013-12-27 2018-08-27 Surface defect detecting method and surface defect detecting apparatus

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2013-270881 2013-12-27
JP2013270881A JP6040930B2 (ja) 2013-12-27 2013-12-27 表面欠陥検出方法及び表面欠陥検出装置
JP2014090996A JP6064942B2 (ja) 2014-04-25 2014-04-25 表面欠陥検出方法及び表面欠陥検出装置
JP2014090995A JP6119663B2 (ja) 2014-04-25 2014-04-25 表面欠陥検出方法及び表面欠陥検出装置
JP2014-090996 2014-04-25
JP2014-090995 2014-04-25

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/107,241 A-371-Of-International US10180401B2 (en) 2013-12-27 2014-12-24 Surface defect detecting method and surface defect detecting apparatus
US16/112,939 Continuation US10705027B2 (en) 2013-12-27 2018-08-27 Surface defect detecting method and surface defect detecting apparatus

Publications (1)

Publication Number Publication Date
WO2015098929A1 true WO2015098929A1 (ja) 2015-07-02

Family

ID=53478781

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/084077 WO2015098929A1 (ja) 2013-12-27 2014-12-24 表面欠陥検出方法及び表面欠陥検出装置

Country Status (8)

Country Link
US (2) US10180401B2 (ja)
EP (1) EP3088874B1 (ja)
KR (1) KR101832081B1 (ja)
CN (1) CN105849534B (ja)
CA (2) CA3013438C (ja)
ES (1) ES2942266T3 (ja)
RU (1) RU2637723C1 (ja)
WO (1) WO2015098929A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016208626A1 (ja) * 2015-06-25 2016-12-29 Ｊｆｅスチール株式会社 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
WO2016208622A1 (ja) * 2015-06-25 2016-12-29 Ｊｆｅスチール株式会社 表面欠陥検出装置および表面欠陥検出方法
WO2017061318A1 (ja) * 2015-10-06 2017-04-13 日本碍子株式会社 セラミックス体の表面検査方法
CN108072659A (zh) * 2016-11-11 2018-05-25 三星显示有限公司 多光学视觉设备
TWI724696B (zh) * 2019-12-18 2021-04-11 財團法人工業技術研究院 工件孔洞量測方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012010190B4 (de) 2011-07-18 2022-08-18 Lufthansa Technik Aktiengesellschaft Verfahren, Vorrichtung und Endoskop sowieAufsatz
JP6424020B2 (ja) 2014-06-09 2018-11-14 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2016120535A (ja) * 2014-12-24 2016-07-07 株式会社ディスコ 加工装置
CN107735674B (zh) * 2015-06-25 2021-09-17 杰富意钢铁株式会社 表面缺陷检测装置、表面缺陷检测方法及钢材的制造方法
US20170102288A1 (en) * 2015-10-13 2017-04-13 Fluke Corporation Three-dimensional inspection of optical communication links
WO2017073628A1 (ja) 2015-10-28 2017-05-04 日本碍子株式会社 ハニカム構造体の端面検査方法、及び端面検査装置
JP6531184B2 (ja) * 2016-01-08 2019-06-12 株式会社Ｓｃｒｅｅｎホールディングス 欠陥検出装置および欠陥検出方法
WO2017141611A1 (ja) 2016-02-19 2017-08-24 株式会社Ｓｃｒｅｅｎホールディングス 欠陥検出装置、欠陥検出方法およびプログラム
US10060861B2 (en) 2017-01-10 2018-08-28 Sunspring America, Inc. Technologies for identifying defects
US10887500B2 (en) * 2017-01-24 2021-01-05 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Optical inspection system
CN107154039B (zh) * 2017-04-28 2020-10-27 北京简易科技有限公司 胶管在线缺陷检测方法
JP7113627B2 (ja) 2018-02-05 2022-08-05 株式会社Ｓｃｒｅｅｎホールディングス 画像取得装置、画像取得方法および検査装置
JP7087458B2 (ja) * 2018-03-06 2022-06-21 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
CN108827181B (zh) * 2018-03-14 2021-04-09 浙江大学山东工业技术研究院 一种基于视觉的板材表面检测方法
KR102613277B1 (ko) * 2018-11-30 2023-12-12 제이에프이 스틸 가부시키가이샤 표면 결함 검출 방법, 표면 결함 검출 장치, 강재의 제조 방법, 강재의 품질 관리 방법, 강재의 제조 설비, 표면 결함 판정 모델의 생성 방법 및, 표면 결함 판정 모델
CN111464132B (zh) * 2019-01-18 2023-08-18 长沙青波光电科技有限公司 物体表面检测装置、硅片检测装置及方法
US10801644B2 (en) * 2019-01-28 2020-10-13 Caterpillar Inc. Pipelaying guidance
JP7070537B2 (ja) * 2019-02-27 2022-05-18 Ｊｆｅスチール株式会社 表面検査装置及び表面検査方法
WO2020183958A1 (ja) * 2019-03-08 2020-09-17 Ｊｆｅスチール株式会社 化成処理膜検査方法、化成処理膜検査装置、表面処理鋼板の製造方法、表面処理鋼板の品質管理方法及び表面処理鋼板の製造設備
WO2020202617A1 (ja) * 2019-03-29 2020-10-08 富士フイルム株式会社 画像処理装置、放射線画像撮影システム、画像処理方法、及び画像処理プログラム
IT201900006925A1 (it) * 2019-05-16 2020-11-16 Sica Spa Sistema di controllo della qualità di lavorazione di tubi in materiale termoplastico
US20230055315A1 (en) * 2020-01-20 2023-02-23 Jfe Steel Corporation Surface inspection device, surface inspection method, method of manufacturing steel material, method of managing quality of steel material, and manufacturing facility for steel material
JP7501264B2 (ja) * 2020-09-15 2024-06-18 株式会社アイシン 異常検出装置、異常検出プログラム、および異常検出システム
CN113532327B (zh) * 2021-07-15 2023-09-12 合肥图迅电子科技有限公司 基于条纹投影3d成像的料盘内芯片形态的检测方法
CN114494129B (zh) * 2021-12-14 2023-04-18 苏州大学 一种表面轻微形变缺陷对比度增强方法
DE102022116099B3 (de) * 2022-06-28 2023-12-28 Carl Zeiss Industrielle Messtechnik Gmbh Oberflächeninspektionssystem und Verfahren zur Erfassung von Oberflächendefekten
CN114937039B (zh) * 2022-07-21 2022-10-25 阿法龙(山东)科技有限公司 一种钢管缺陷智能检测方法
CN116500042B (zh) * 2023-05-09 2024-01-26 哈尔滨工业大学重庆研究院 缺陷检测方法、装置、***及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5952735A (ja) 1982-09-20 1984-03-27 Kawasaki Steel Corp 熱間鋼片の表面欠陥検出方法
JPH1137949A (ja) 1997-07-22 1999-02-12 Sumitomo Metal Ind Ltd 表面疵検知方法及び装置
JP2010223621A (ja) * 2009-03-19 2010-10-07 Sumitomo Metal Ind Ltd 管状品の内表面検査方法
JP2011117788A (ja) * 2009-12-02 2011-06-16 Sumitomo Mitsui Construction Co Ltd コンクリート表面検査装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4162126A (en) * 1976-12-10 1979-07-24 Hitachi, Ltd. Surface detect test apparatus
US5949901A (en) 1996-03-21 1999-09-07 Nichani; Sanjay Semiconductor device image inspection utilizing image subtraction and threshold imaging
DE69703487T2 (de) 1997-08-22 2001-06-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur automatischen Prüfung bewegter Oberflächen
US6327374B1 (en) 1999-02-18 2001-12-04 Thermo Radiometrie Oy Arrangement and method for inspection of surface quality
US6097482A (en) 1999-06-08 2000-08-01 Philip Morris Incorporated High speed flaw detecting system for reflective material
US20010030744A1 (en) * 1999-12-27 2001-10-18 Og Technologies, Inc. Method of simultaneously applying multiple illumination schemes for simultaneous image acquisition in an imaging system
RU2165612C1 (ru) 2000-04-19 2001-04-20 Тульский государственный университет Способ обнаружения дефектов поверхности
ATE504825T1 (de) 2000-04-28 2011-04-15 Electro Scient Ind Inc Gerichtete beleuchtung und verfahren zur erkennung dreidimensionaler information
JP2007218889A (ja) 2006-02-15 2007-08-30 Nippon Electro Sensari Device Kk 表面欠陥検出方法および表面欠陥検出装置
FI20075975L (fi) 2007-12-31 2009-07-01 Metso Automation Oy Rainan mittaus
WO2009097494A1 (en) * 2008-01-30 2009-08-06 Rudolph Technologies, Inc. High resolution edge inspection
US7573586B1 (en) 2008-06-02 2009-08-11 United Technologies Corporation Method and system for measuring a coating thickness
JP5198189B2 (ja) 2008-08-29 2013-05-15 富士フイルム株式会社 ハードディスク検査装置
JP4719284B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 表面検査装置
KR20120059567A (ko) * 2009-08-25 2012-06-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 발광 태양 에너지 집광기
JP2013205332A (ja) * 2012-03-29 2013-10-07 Toray Ind Inc 欠点検査装置および欠点検査方法
JP2012141322A (ja) * 2012-04-23 2012-07-26 Jfe Steel Corp 表面欠陥検査装置
EP2703772B1 (de) * 2012-08-28 2015-05-20 Texmag GmbH Vertriebsgesellschaft Sensor zum Erfassen einer laufenden Warenbahn

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5952735A (ja) 1982-09-20 1984-03-27 Kawasaki Steel Corp 熱間鋼片の表面欠陥検出方法
JPH1137949A (ja) 1997-07-22 1999-02-12 Sumitomo Metal Ind Ltd 表面疵検知方法及び装置
JP2010223621A (ja) * 2009-03-19 2010-10-07 Sumitomo Metal Ind Ltd 管状品の内表面検査方法
JP2011117788A (ja) * 2009-12-02 2011-06-16 Sumitomo Mitsui Construction Co Ltd コンクリート表面検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3088874A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016208626A1 (ja) * 2015-06-25 2016-12-29 Ｊｆｅスチール株式会社 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
WO2016208622A1 (ja) * 2015-06-25 2016-12-29 Ｊｆｅスチール株式会社 表面欠陥検出装置および表面欠陥検出方法
JP6079948B1 (ja) * 2015-06-25 2017-02-15 Ｊｆｅスチール株式会社 表面欠陥検出装置および表面欠陥検出方法
JPWO2016208626A1 (ja) * 2015-06-25 2017-06-29 Ｊｆｅスチール株式会社 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
WO2017061318A1 (ja) * 2015-10-06 2017-04-13 日本碍子株式会社 セラミックス体の表面検査方法
JPWO2017061318A1 (ja) * 2015-10-06 2017-10-12 日本碍子株式会社 セラミックス体の表面検査方法
US10475177B2 (en) 2015-10-06 2019-11-12 Ngk Insulators, Ltd. Method of inspecting surface of ceramic body
CN108072659A (zh) * 2016-11-11 2018-05-25 三星显示有限公司 多光学视觉设备
TWI724696B (zh) * 2019-12-18 2021-04-11 財團法人工業技術研究院 工件孔洞量測方法
US11120545B2 (en) 2019-12-18 2021-09-14 Industrial Technology Research Institute Method for measuring hole provided in workpiece

Also Published As

Publication number Publication date
CA3013438C (en) 2020-07-14
CA2934796C (en) 2022-03-22
EP3088874A1 (en) 2016-11-02
US10180401B2 (en) 2019-01-15
EP3088874B1 (en) 2023-03-15
US20190011375A1 (en) 2019-01-10
KR101832081B1 (ko) 2018-02-23
EP3088874A4 (en) 2017-05-17
US10705027B2 (en) 2020-07-07
KR20160090359A (ko) 2016-07-29
RU2637723C1 (ru) 2017-12-06
CN105849534B (zh) 2019-10-11
CA2934796A1 (en) 2015-07-02
CA3013438A1 (en) 2015-07-02
CN105849534A (zh) 2016-08-10
ES2942266T3 (es) 2023-05-31
US20170122878A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
WO2015098929A1 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP6447637B2 (ja) 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法
JP6394514B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP6040930B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP6646339B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP6119663B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP6079948B1 (ja) 表面欠陥検出装置および表面欠陥検出方法
JP2020008501A (ja) 表面欠陥検出装置及び表面欠陥検出方法
JP6387909B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP6149990B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP6064942B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP2015200544A (ja) 表面凹凸検査装置及び表面凹凸検査方法
JP7131509B2 (ja) 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14873854

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2934796

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15107241

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20167016851

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014873854

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014873854

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016129424

Country of ref document: RU

Kind code of ref document: A