WO2022113867A1 - 解析装置、検査システム、および学習装置 - Google Patents

解析装置、検査システム、および学習装置 Download PDF

Info

Publication number
WO2022113867A1
WO2022113867A1 PCT/JP2021/042388 JP2021042388W WO2022113867A1 WO 2022113867 A1 WO2022113867 A1 WO 2022113867A1 JP 2021042388 W JP2021042388 W JP 2021042388W WO 2022113867 A1 WO2022113867 A1 WO 2022113867A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspected
image
area
unit
analysis
Prior art date
Application number
PCT/JP2021/042388
Other languages
English (en)
French (fr)
Inventor
岳彦 指田
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2022562670A priority Critical patent/JP7248201B2/ja
Priority to CN202180079661.6A priority patent/CN116507907A/zh
Priority to US18/252,599 priority patent/US20240005473A1/en
Priority to EP21897841.9A priority patent/EP4253943A4/en
Publication of WO2022113867A1 publication Critical patent/WO2022113867A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to an analysis device, an inspection system, and a learning device.
  • Defects may occur on the painted surface of automobiles, etc. Development of an inspection system for detecting this defect is in progress (for example, Patent Document 1). In this inspection system, for example, defects are detected by sequentially imaging a part of an area such as an automobile while irradiating with light.
  • the present invention has been made to solve such a problem. That is, it is an object of the present invention to provide an analysis device, an inspection system, and a learning apparatus capable of improving the accuracy of inspection.
  • An acquisition unit that acquires image information of each of a plurality of images captured while irradiating the target with light, an irradiation region in which the target is irradiated with the light based on the image information, and the target. It includes an extraction unit that extracts the image having a predetermined relationship with the area to be inspected, and an analysis unit that analyzes the state of the area to be inspected based on the image information of the image extracted by the extraction unit. , Analytical device.
  • the irradiation region has a central portion and a peripheral portion outside the central portion, and the extraction portion has the image in which the peripheral portion of the irradiation region overlaps at least a part of the inspection region.
  • a plurality of the images based on the specific unit that specifies the area to be inspected in the image based on the image information acquired by the acquisition unit and the area to be inspected specified by the specific unit.
  • the analysis according to (7) above further comprising a tracking unit for tracking the area to be inspected in the above-mentioned (7), wherein the extraction unit extracts the image based on the area to be inspected tracked by the tracking unit.
  • a tracking unit for tracking the area to be inspected in the above-mentioned (7), wherein the extraction unit extracts the image based on the area to be inspected tracked by the tracking unit.
  • the extraction unit extracts a plurality of the images in which the irradiation region and one of the inspected regions have a predetermined relationship, and the analysis unit is based on the image information of the plurality of images.
  • the analysis device according to any one of (1) to (8) above, which analyzes the state of the area to be inspected.
  • the trained model is pre-learned using training data of a combination of the inspected region of the image extracted by the extraction unit and the correct label of the state of the inspected region.
  • the analyzer according to (10).
  • a light source device that irradiates an object with light
  • an image pickup device that captures an image of the object irradiated with light from the light source device
  • an analysis device according to any one of (1) to (14) above. , Inspection system.
  • An acquisition unit that acquires image information of each of a plurality of images captured while irradiating the target with light, an irradiation region in which the target is irradiated with the light based on the image information, and the target.
  • An extraction unit that extracts the image having a predetermined relationship with the area to be inspected, and an analysis unit that analyzes the state of the area to be inspected by machine learning based on the image information of the image extracted by the extraction unit.
  • a learning device including a learning unit for learning the analysis unit.
  • an image in which the irradiation region and the target region to be inspected have a predetermined relationship is extracted from a plurality of images. This makes it possible to extract an image that makes it easier to analyze the state of the area to be inspected. Therefore, it is possible to improve the accuracy of the inspection.
  • FIG. 3 is a side view showing an example of the positional relationship between the target area to be inspected, the light source, and the camera shown in FIG. 4 is a side view showing another example of the positional relationship between the target area to be inspected, the light source, and the camera shown in FIG. 4A.
  • FIG. 4A It is a side view which shows the other example of the positional relationship of the target area to be inspected, a light source, and a camera shown in FIG. 4A.
  • FIG. 4A It is a block diagram which shows an example of the schematic structure of the analysis apparatus shown in FIG.
  • FIG. It is a block diagram which shows an example of the functional structure of the CPU shown in FIG.
  • FIG. It is a flowchart which shows an example of the processing by the analysis apparatus shown in FIG.
  • FIG. It is a block diagram which shows the functional structure of the analysis apparatus which concerns on modification 1.
  • FIG. It is a block diagram which shows the functional structure of the analysis apparatus which concerns on modification 2.
  • FIG. 1 is a diagram showing a schematic configuration of an inspection system 1 according to an embodiment of the present invention
  • FIG. 2 shows an example of a predetermined object (object T) inspected by the inspection system 1.
  • the inspection system 1 includes, for example, a transport device 100, a light source device 200, an image pickup device 300, and an analysis device 400 (FIG. 1).
  • the transport device 100, the light source device 200, the image pickup device 300, and the analysis device 400 are connected to each other so as to be communicable with each other via a network such as a LAN (Local Area Network), a telephone network, or a data communication network by wire or wirelessly.
  • LAN Local Area Network
  • the shape of the surface of the target T is analyzed, and the surface defect is inspected.
  • the target T is a vehicle body
  • the inspection system 1 inspects a defect on the painted surface of the vehicle body.
  • the surface of the vehicle body is subjected to surface treatment, metallic coating and clear coating, and has a multi-layer structure.
  • the inspection system 1 detects a region that is a candidate for the surface defect (hereinafter referred to as an inspected region Rt) and analyzes the shape of the defect in the inspected region Rt (FIG. 2).
  • FIG. 2 illustrates an inspected region Rt provided with a concave defect, but the inspected region Rt may be provided with a convex defect, or a defect of another shape is provided. May be.
  • the target T may be something other than the vehicle body, and the inspection system 1 may inspect the surface other than the painted surface.
  • the inspection system 1 may be used for inspecting a portion other than the surface of the target T, but the inspection system 1 can be suitably used for inspecting the surface of the target T.
  • the transport device 100 transports the target T along a predetermined direction (for example, the transport direction C indicated by the arrow in FIG. 2) at a predetermined speed.
  • the transport device 100 includes, for example, a mounting portion on which the target T is mounted and a driving unit for moving the mounting portion.
  • the light source device 200 is for irradiating the target T with light, and has a light source 20 (FIG. 2).
  • the light source 20 is, for example, a linear light source.
  • a region (hereinafter referred to as an irradiation region Ri) in which the target T is irradiated with the light is formed.
  • the light source 20 is fixed at a predetermined position, for example, and irradiates the target T moving from the predetermined position in the transport direction C with light. As a result, the position of the irradiation region Ri with respect to the inspected region Rt of the target T changes.
  • the light source device 200 has, for example, a plurality of light sources 20, and the plurality of light sources 20 are arranged at predetermined intervals along the transport direction of the target T.
  • a plurality of light sources 20 may be arranged at predetermined positions in the transport direction of the target T.
  • FIG. 3 shows an image of the brightness of the irradiation region Ri formed by the light source 20.
  • the irradiation region Ri has, for example, a substantially circular or substantially elliptical planar shape.
  • the brightness of the irradiation region Ri is highest in the central portion (central portion Ric), and the brightness in the central portion Ric is substantially uniform.
  • the brightness gradually decreases as the distance from the central Ric increases. That is, in the irradiation region Ri, the change in the brightness in the peripheral portion (peripheral portion Rie) outside the central portion Ric is larger than the change in the brightness in the central portion Ric.
  • the change in illumination intensity is large in the vicinity of the periphery of the irradiation region Ri. Therefore, by imaging the peripheral portion Rie of the irradiation region Ri, preferably the region overlapping in the vicinity of the peripheral edge of the irradiation region Ri, it is possible to obtain an image similar to the captured image at various illumination intensities.
  • the image pickup device 300 is for taking an image of the target T, and has a camera 30 (FIG. 2).
  • the image pickup apparatus 300 has, for example, a plurality of cameras 30, and each camera 30 is fixed at a predetermined position.
  • Each of the plurality of cameras 30 continuously or discontinuously images each part of the surface of the object T to be transported.
  • the inspection system 1 the positions of the irradiation region Ri with respect to the target T change, and more specifically, the positions of the central portion Ric and the peripheral portion Rie with respect to the inspection region Rt of the target T change.
  • the surface of the target T is imaged.
  • FIGS. 4A to 4C show the positional relationship between the light source 20 (irradiation region Ri) and the camera 30 with the inspected region Rt of the target T transported along the transport direction C.
  • the central portion Ric (FIG. 4A), the peripheral portion Rie (FIG. 4B), and the vicinity of the peripheral edge of the irradiation region Ri (FIG. 4C).
  • the camera 30 fixed at a predetermined position captures an image of the inspected region Rt of the target T that overlaps each of the central portion Ric, the peripheral portion Rie, and the periphery of the irradiation region Ri.
  • the image pickup apparatus 300 outputs a plurality of images thus captured by the camera 30.
  • the analysis device 400 mainly sends and receives various information and instructions to and from the image pickup device 300.
  • the analysis device 400 acquires image information of each of the plurality of images captured by the image pickup device 300, and analyzes the defects on the surface of the target T.
  • the analysis device 400 is a computer such as a server and a PC.
  • the analysis device 400 may be configured by a plurality of devices, or may be virtually configured as a cloud server by, for example, a large number of servers.
  • FIG. 5 is a block diagram showing a schematic configuration of the analysis device 400.
  • the analysis device 400 includes a CPU (Central Processing Unit) 410, a ROM (Read Only Memory) 420, a RAM (Random Access Memory) 430, a storage 440, a communication interface 450, and an operation display unit 460.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • storage 440 storage
  • communication interface 450 communication interface
  • operation display unit 460 operation display unit
  • the CPU 410 controls each of the above configurations and performs various arithmetic processes according to the programs recorded in the ROM 420 and the storage 440.
  • ROM 420 stores various programs and various data.
  • RAM 430 temporarily stores programs and data as a work area.
  • the storage 440 stores various programs including the operating system and various data. For example, an application for transmitting / receiving various information to / from another device and determining an analysis result to be output based on various information acquired from the other device is installed in the storage 440. Further, the storage 440 stores candidates for the analysis result to be output and information necessary for determining the analysis result to be output based on various information. When a machine learning model is used to determine the analysis result, a trained model or the like required for machine learning may be stored.
  • the communication interface 450 is an interface for communicating with other devices.
  • As the communication interface 450 a communication interface according to various wired or wireless standards is used.
  • the operation display unit 460 is, for example, a touch panel type display, displays various information, and receives various inputs from the user.
  • FIG. 6 is a block diagram showing the functional configuration of the analysis device 400.
  • the CPU 410 reads the program stored in the storage 440 and executes the process, for example, as an acquisition unit 411, a specific unit 412, a tracking unit 413, an extraction unit 414, an analysis unit 415, and an output unit 416. Function.
  • the acquisition unit 411 acquires the image information of each of the plurality of images captured by the image pickup device 300.
  • the plurality of images captured by the image pickup apparatus 300 include a plurality of images captured while irradiating the inspected region Rt of the target T from the light source 20 with light (see FIGS. 4A to 4C).
  • the identification unit 412 specifies the area to be inspected Rt in the image based on the image information acquired by the acquisition unit 411.
  • the specific unit 412 may specify a plurality of inspected areas Rt.
  • the identification unit 412 identifies the area to be inspected Rt in the image captured by the image pickup apparatus 300, for example, by using machine learning.
  • the identification unit 412 identifies the area to be inspected Rt using, for example, a trained model. This trained model may include, for example, an image in which only a defect-free area is imaged and a non-defect label is attached, and an image in which a defect is imaged and an image with a defect label and a correct label for the position of the defect is attached. Has been learned in advance.
  • the region Rt to be inspected may be specified by scanning the image using a trained model in which the method of classifying defects and non-defects has been learned.
  • the specifying unit 412 may specify the area to be inspected Rt without using machine learning, or may specify the area to be inspected Rt by using, for example, a shape feature.
  • the inspected region Rt is specified based on the image features derived from the luminance difference between the inspected region Rt and its surroundings.
  • the tracking unit 413 tracks the inspected area Rt in a plurality of images based on the inspected area Rt specified by the specific unit 412.
  • the tracking unit 413 may track each of the plurality of inspected areas Rt.
  • the position of the inspected region Rt in another image is estimated based on the position of the inspected region Rt in a predetermined image and the imaging position of the image.
  • Specific methods for tracking include the following methods. For example, tracking is performed by estimating the amount of movement of the area to be inspected Rt based on the speed information of the transport device 100. Alternatively, tracking may be performed on the premise that the amount of movement of the area to be inspected Rt between different images is limited.
  • tracking of the inspected region Rt may be performed by performing the identification processing of the inspected region Rt again in another image with reference to the position of the inspected region Rt in the image specified by the specific unit 412. .. After estimating the amount of movement of the area to be inspected Rt based on the speed information of the transport device 100, the process of specifying the area to be inspected Rt may be further performed.
  • the tracking unit 413 may cut out the area to be inspected Rt in the image.
  • the extraction unit 414 extracts an image in which the irradiation region Ri and the inspected region Rt tracked by the tracking unit 413 have a predetermined relationship.
  • the position of the irradiation region Ri in each image is determined, for example, based on the brightness.
  • the image in which the inspected region Rt and the irradiation region Ri have a predetermined relationship is an image in which the state of the inspected region Rt can be easily analyzed in the positional relationship with the irradiation region Ri.
  • the extraction unit 414 extracts, for example, an image having a predetermined non-uniformity in the brightness of the area Rt to be inspected from the image including the area Rt to be inspected. Specifically, the extraction unit 414 extracts an image in which the peripheral portion Rie of the irradiation region Ri overlaps at least a part of the inspected region Rt. Alternatively, the extraction unit 414 extracts an image in which the vicinity of the peripheral edge of the irradiation region Ri overlaps at least a part of the region Rt to be inspected.
  • the relationship between the irradiated area Ri and the area to be inspected Rt is determined, for example, based on the difference between the maximum brightness and the minimum brightness of the area to be inspected Rt in the image and the average brightness.
  • the extraction unit 414 extracts, for example, an image in which the difference between the maximum brightness and the minimum brightness of the area to be inspected Rt in the image is in a predetermined range, and the average brightness of the area to be inspected Rt in the image is in a predetermined range. ..
  • the value in this predetermined range is determined by, for example, an experiment.
  • the relationship between the irradiation region Ri and the inspected region Rt may be determined based on at least one of the variance and the histogram of the luminance in the vicinity of the inspected region Rt in the image.
  • the extraction unit 414 extracts, for example, an image in which the degree of dispersion and the median of the histogram of the luminance in the vicinity of the area to be inspected Rt in the image are within a predetermined range. This predetermined range is determined by, for example, an experiment.
  • the extraction unit 414 extracts a plurality of images for one inspected area Rt. By extracting a plurality of images for one inspected region Rt by the extraction unit 414, the accuracy of analysis by the analysis unit 415 can be improved.
  • the analysis unit 415 analyzes the state of the area to be inspected Rt based on the image information of the image extracted by the extraction unit 414. Specifically, the analysis unit 415 analyzes the shape of the defect in the region Rt to be inspected. For example, the analysis unit 415 determines whether the defect of the inspected region Rt of the target T is a concave shape or a convex shape. The analysis unit 415 may determine the shape of the defect for each of the image information of the plurality of images extracted by the extraction unit 414, and then integrate these determination results to derive the analysis result.
  • the analysis unit 415 analyzes the state of the inspected region Rt of the target T by using, for example, machine learning.
  • This machine learning includes deep learning using neural networks.
  • the analysis unit 415 analyzes the state of the inspected region Rt using, for example, a trained model.
  • This trained model is pre-trained using, for example, training data of a combination of an image in which the defect is imaged and a correct label of the shape of the defect.
  • the image used as the training data is, for example, an image extracted by the extraction unit 414.
  • the output unit 416 outputs the analysis result of the state of the inspected area Rt of the target T analyzed by the analysis unit 415 by displaying it on the operation display unit 460 or the like.
  • the output unit 416 may output the analysis result by transmitting it to an external device via the communication interface 450.
  • FIG. 7 is a flowchart showing a procedure of processing executed by the analysis device 400.
  • the process of the analysis device 400 shown in the flowchart of FIG. 7 is stored as a program in the storage 440 of the analysis device 400, and is executed by the CPU 410 controlling each unit.
  • the analysis device 400 acquires image information of each of the plurality of images related to the target T captured by the image pickup device 300 (step S101). Next, the analysis device 400 identifies the inspected region Rt of the target T in the image based on the image information acquired in step S101 (step S102).
  • the analysis device 400 tracks the inspected region Rt of a plurality of images based on the inspected region Rt specified in step S102 (step S103).
  • the analysis device 400 extracts an image in which the area to be inspected Rt and the irradiation area Ri have a predetermined relationship based on the Rt of the area to be inspected tracked in step S103 (step S104).
  • step S104 for example, an image in which the peripheral portion Rie of the irradiation region Ri overlaps at least a part of the inspection region Rt, or the vicinity of the peripheral edge of the irradiation region Ri overlaps at least a part of the inspection region Rt.
  • the image is extracted.
  • the analysis device 400 analyzes the state of the area to be inspected Rt based on the image information of the image extracted in step S104 (step S105). For example, the analysis device 400 analyzes the shape of the defect in the inspected region Rt and determines whether the defect in the inspected region Rt of the target T is a concave shape or a convex shape.
  • the analysis device 400 analyzes the state of the inspected region Rt of the target T in the process of step S105, outputs this analysis result (step S106), and ends the process.
  • the extraction unit 414 extracts an image in which the irradiation region Ri and the inspected region Rt of the target T have a predetermined relationship. This makes it possible to extract an image that makes it easier to analyze the state of the region Rt to be inspected. Hereinafter, this action and effect will be described.
  • the analysis device 400 can extract only the image in which the state of the area to be inspected Rt can be easily analyzed in relation to the irradiation area Ri from all the images captured by the image pickup device 300.
  • the analysis device 400 may use an image in which the brightness in the vicinity of the area to be inspected Rt has a predetermined non-uniformity, an image in which at least a part of the area to be inspected Rt is overlapped with a peripheral portion Rie of the irradiation area Ri, or an image.
  • An image in which the vicinity of the periphery of the irradiation region Ri overlaps at least a part of the area to be inspected Rt is extracted.
  • the analysis device 400 analyzes the state of the area to be inspected Rt based on an image that makes it easier to analyze the state of the area to be inspected Rt.
  • an image in which it is difficult to analyze the state of the area Rt to be inspected is not used for analysis.
  • the image in which it is difficult to analyze the state of the inspected region Rt is, for example, an image in which the entire inspected region Rt overlaps the central Ric of the irradiation region Ri, and an image in which the entire inspected region Rt is outside the irradiation region Ri. And so on.
  • the analysis device 400 can improve the accuracy of the inspection as compared with the case of analyzing the state of the inspected region Rt in the state including the image in which the state of the inspected region Rt of the target T is difficult to analyze. Become.
  • the inspection system 1 including such an analysis device 400 does not require complicated control of lighting conditions, various light sources, and the like, and can improve the accuracy of inspection while suppressing the cost.
  • the accuracy of inspection can be effectively improved as described below.
  • deep learning features are extracted from an image by a convolution operation. Therefore, if the analysis image contains an image in which it is difficult to analyze the shape of the defect, noise increases and the accuracy of the analysis tends to decrease. Therefore, by extracting an image in advance that makes it easy to analyze the state of the inspected region Rt of the target T and performing analysis by deep learning using this image, noise is reduced and the inspection accuracy is effectively improved. Can be made to.
  • an image in which the irradiation region Ri and the inspected region Rt of the target T have a predetermined relationship is extracted. This makes it possible to extract an image that makes it easier to analyze the state of the region Rt to be inspected. Therefore, it is possible to improve the accuracy of the inspection of the inspection system 1.
  • the analysis device 400 extracts an image based on the difference between the maximum brightness and the minimum brightness of the area Rt to be inspected and the average brightness. As a result, an image that makes it easier to analyze the shape of the region Rt to be inspected can be extracted more reliably, and the accuracy of the inspection can be further improved.
  • the analysis device 400 extracts a plurality of images for one inspected region Rt and analyzes the state of one inspected region Rt based on the image information of each of the plurality of images. This makes it possible to further improve the accuracy of the analysis as compared with the case of analyzing the state of one inspected region Rt based on the image information of a single image.
  • the analysis device 400 has a specific unit 412 and a tracking unit 413.
  • the extraction unit 414 can extract an image based on the tracked region Rt to be inspected. Therefore, the image can be easily extracted and the accuracy of the analysis can be improved as compared with the extraction from all the images captured by the image pickup apparatus 300.
  • the accuracy of the analysis can be effectively improved for the following reasons.
  • the tracking unit 413 tracks each of the plurality of inspected regions Rt. Therefore, confusion between a plurality of inspected regions Rt is less likely to occur, and the accuracy of analysis can be improved.
  • FIG. 8 shows an example of the functional configuration of the analysis device 400 according to the modified example 1.
  • the analysis device 400 has a learning unit 417 in addition to an acquisition unit 411, a specific unit 412, a tracking unit 413, an extraction unit 414, an analysis unit 415, and an output unit 416. Except for this point, the analysis device 400 according to the first modification has the same configuration as the analysis device 400 according to the above embodiment, and has the same function and effect.
  • the learning unit 417 trains the analysis unit 415. Specifically, the learning unit 417 causes the analysis unit 415 to learn the combination of the inspected region Rt in the image extracted by the extraction unit 414 and the state of the inspected region Rt. Here, the learning unit 417 learns only the image extracted by the extraction unit 414, that is, the image in which the irradiation region Ri and the inspected region Rt have a predetermined relationship. As a result, an image that makes it easier to analyze the state of the area to be inspected Rt is learned, so that noise is reduced and the learning accuracy can be improved. That is, it is possible to improve the accuracy of the analysis unit 415 learned by the learning unit 417 as compared with the case where the learning unit 417 learns by including an image that is difficult to analyze.
  • the analysis device 400 may have a function as a learning device.
  • a learning device may be provided separately from the analysis device 400.
  • FIG. 9 shows an example of the functional configuration of the analysis device 400 according to the modified example 2.
  • the analysis device 400 has an acquisition unit 411, an extraction unit 414, an analysis unit 415, and an output unit 416. That is, the analysis device 400 is not provided with a specific unit and a tracking unit (specific unit 412 and tracking unit 413 in FIG. 6). Except for this point, the analysis device 400 according to the modified example 2 has the same configuration as the analysis device 400 according to the above embodiment, and has the same function and effect.
  • the extraction unit 414 extracts an image in which the inspected region Rt of the target T and the irradiation region Ri have a predetermined relationship based on the image information acquired by the acquisition unit 411. In this way, the analysis device 400 may extract an image based on the image information acquired by the acquisition unit 411.
  • the configuration of the inspection system 1 described above is not limited to the above configuration, but is variously modified within the scope of the claims, as the main configuration has been described in explaining the features of the above-described embodiment and modification. be able to. Moreover, it does not exclude the configuration provided in a general inspection system.
  • the target T is conveyed in a predetermined direction and the light source 20 and the camera 30 are fixed at a predetermined position.
  • the target T is fixed at a predetermined position and the light source 20 or the light source 20 or The camera 30 may be moved. That is, in the inspection system 1, the target T may be imaged while any of the target T, the irradiation area Ri, and the imaging position is moving.
  • the transport device 100, the light source device 200, the image pickup device 300, and the analysis device 400 may each be configured by a plurality of devices, or these may be configured as a single device.
  • each configuration may be realized by other configurations.
  • the light source device 200 and the image pickup device 300 may be integrated into the analysis device 400, and a part or all of the functions of the light source device 200 and the image pickup device 300 may be realized by the analysis device 400.
  • the inspection system 1 analyzes the state of the inspected region Rt of the target T by machine learning
  • the inspection system 1 is used for statistical processing and the like.
  • the state of the inspected region Rt of the target T may be analyzed by another method.
  • the means and methods for performing various processes in the above-mentioned inspection system 1 can be realized by either a dedicated hardware circuit or a programmed computer.
  • the program may be provided by a computer-readable recording medium such as a USB memory or a DVD (Digital Versaille Disc) -ROM, or may be provided online via a network such as the Internet.
  • the program recorded on the computer-readable recording medium is usually transferred to and stored in a storage unit such as a hard disk.
  • the above program may be provided as a single application software, or may be incorporated into the software of a device such as a detection unit as a function.
  • Inspection system 100 transport equipment, 200 light source device, 20 light source, 300 imager, 30 cameras, 400 analyzer, 410 CPU, 420 ROM, 430 RAM, 440 storage, 450 communication interface, 460 operation display unit, T target, Rt area to be inspected, Ri irradiation area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

解析装置は、取得部、抽出部および解析部を有する。取得部は、対象に光を照射しながら撮像された複数の画像各々の画像情報を取得する。抽出部は、画像情報に基づいて、対象に光が照射された照射領域と対象の被検査領域とが所定の関係にある画像を抽出する。解析部は、抽出部で抽出された画像の画像情報に基づいて、被検査領域の状態を解析する。

Description

解析装置、検査システム、および学習装置
　本発明は、解析装置、検査システム、および学習装置に関する。
　自動車等の塗装表面には、欠陥が発生することがある。この欠陥を検出するための検査システムの開発が進められている（たとえば、特許文献１）。この検査システムでは、たとえば、光を照射しながら自動車等の一部の領域を順次撮像していくことにより、欠陥が検出される。
特開２０００－１７２８４５号公報
　このような検査システムでは、さらに検査の精度を向上させることが困難であるという問題がある。
　本発明は、このような問題を解決するためになされたものである。すなわち、検査の精度を向上させることが可能な解析装置、検査システム、および学習装置を提供することを目的とする。
　本発明の上記課題は、以下の手段によって解決される。
　（１）対象に光を照射しながら撮像された複数の画像各々の画像情報を取得する取得部と、前記画像情報に基づいて、前記対象に前記光が照射された照射領域と、前記対象の被検査領域とが所定の関係にある前記画像を抽出する抽出部と、前記抽出部で抽出された前記画像の前記画像情報に基づいて、前記被検査領域の状態を解析する解析部とを備える、解析装置。
　（２）前記照射領域は、中央部および前記中央部の外側の周辺部を有し、前記抽出部は、前記被検査領域の少なくとも一部に前記照射領域の前記周辺部が重なっている前記画像を抽出する、上記（１）に記載の解析装置。
　（３）前記抽出部は、前記被検査領域に前記照射領域の周縁が重なっている前記画像を抽出する、上記（１）または（２）に記載の解析装置。
　（４）前記抽出部は、前記被検査領域の輝度が所定の不均一性を有する前記画像を抽出する、上記（１）～（３）のいずれかに記載の解析装置。
　（５）前記抽出部は、前記被検査領域の最大輝度と最小輝度との差および平均輝度に基づいて、前記画像を抽出する、上記（１）～（４）のいずれかに記載の解析装置。
　（６）前記抽出部は、前記被検査領域の輝度の分散およびヒストグラムの少なくとも一方に基づいて、前記画像を抽出する、上記（１）～（５）のいずれかに記載の解析装置。
　（７）前記取得部は、前記対象、前記照射領域および撮像位置のいずれかが移動しながら撮像された複数の前記画像各々の前記画像情報を取得する、上記（１）～（６）のいずれかに記載の解析装置。
　（８）前記取得部で取得された前記画像情報に基づいて、前記画像における前記被検査領域を特定する特定部と、前記特定部により特定された前記被検査領域に基づいて、複数の前記画像における前記被検査領域を追尾する追尾部とをさらに有し、前記抽出部は、前記追尾部により追尾された前記被検査領域に基づいて、前記画像を抽出する、上記（７）に記載の解析装置。
　（９）前記抽出部は、前記照射領域と、一の前記被検査領域とが所定の関係にある複数の前記画像を抽出し、前記解析部は、複数の前記画像の前記画像情報に基づいて、一の前記被検査領域の状態を解析する、上記（１）～（８）のいずれかに記載の解析装置。
　（１０）前記解析部は、学習済みモデルを用いて、前記被検査領域の状態を解析する、上記（１）～（９）のいずれかに記載の解析装置。
　（１１）前記学習済みモデルは、前記抽出部で抽出された前記画像の前記被検査領域と、当該被検査領域の状態の正解ラベルとの組み合わせの訓練データを用いて予め学習されている、上記（１０）に記載の解析装置。
　（１２）前記解析部は、ディープラーニングを用いて、前記被検査領域の状態を解析する、上記（１）～（１１）のいずれかに記載の解析装置。
　（１３）前記被検査領域は、前記対象における欠陥の候補領域であり、前記解析部は、前記欠陥の形状を解析する、上記（１）～（１２）のいずれかに記載の解析装置。
　（１４）前記形状は、凹形状および凸形状である、上記（１３）に記載の解析装置。
　（１５）対象に光を照射する光源装置と、前記光源装置から光が照射された前記対象を撮像する撮像装置と、上記（１）～（１４）のいずれかに記載の解析装置とを備える、検査システム。
　（１６）対象に光を照射しながら撮像された複数の画像各々の画像情報を取得する取得部と、前記画像情報に基づいて、前記対象に前記光が照射された照射領域と、前記対象の被検査領域とが所定の関係にある前記画像を抽出する抽出部と、前記抽出部で抽出された前記画像の前記画像情報に基づいて、前記被検査領域の状態を機械学習により解析する解析部と、前記解析部を学習させる学習部とを備える、学習装置。
　本発明の解析装置、検査システム、および学習装置によれば、複数の画像から、照射領域と対象の被検査領域とが所定の関係にある画像が抽出される。これにより、被検査領域の状態をより解析しやすい画像を抽出することができる。よって、検査の精度を向上させることが可能となる。
本発明の一実施形態に係る検査システムの概略構成を示す図である。 図１に示した検査システムによって検査される対象の一例を示す側面図である。 図２に示した光源によって照射された照射領域の輝度イメージの図である。 図２に示した対象の被検査領域、光源およびカメラの位置関係の一例を示す側面図である。 図４Ａに示した対象の被検査領域、光源およびカメラの位置関係の他の例を示す側面図である。 図４Ａに示した対象の被検査領域、光源およびカメラの位置関係のその他の例を示す側面図である。 図１に示した解析装置の概略構成の一例を示すブロック図である。 図５に示したＣＰＵの機能構成の一例を示すブロック図である。 図１に示した解析装置による処理の一例を示すフローチャートである。 変形例１に係る解析装置の機能構成を示すブロック図である。 変形例２に係る解析装置の機能構成を示すブロック図である。
　以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
　＜実施形態＞
　［検査システムの構成］
　図１は、本発明の一実施形態に係る検査システム１の概略構成を示す図であり、図２は、検査システム１により検査される所定の対象（対象Ｔ）の一例を表している。検査システム１は、たとえば、搬送装置１００、光源装置２００、撮像装置３００および解析装置４００を有している（図１）。搬送装置１００、光源装置２００、撮像装置３００および解析装置４００は、有線や無線によって、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、電話網またはデータ通信網等のネットワークを介して、相互に通信可能に接続されている。
　検査システム１では、たとえば、対象Ｔの表面の形状が解析され、表面の欠陥の検査がなされる。たとえば対象Ｔは車体であり、検査システム１により、この車体の塗装表面の欠陥が検査される。たとえば、車体の表面には、下地処理、メタリック塗装およびクリア塗装が施されており、多層構造を有している。車体の表面に塗装を施す際に、この多層構造中に異物等が混在すると、車体の表面に凹凸形状の表面欠陥が発生することがある。たとえば、検査システム１は、この表面欠陥の候補となる領域（以下、被検査領域Ｒｔという。）を検出するとともに、この被検査領域Ｒｔの欠陥の形状を解析する（図２）。図２には、凹形状の欠陥が設けられた被検査領域Ｒｔを例示したが、被検査領域Ｒｔには凸形状の欠陥が設けられていてもよく、あるいは、他の形状の欠陥が設けられていてもよい。
　対象Ｔは、車体以外のものであってもよく、検査システム１は、塗装面以外の表面を検査してもよい。検査システム１は、対象Ｔの表面以外の部分の検査に用いられてもよいが、検査システム１は、対象Ｔの表面の検査に好適に用いることができる。
　搬送装置１００は、対象Ｔを所定の方向（たとえば、図２の矢印の搬送方向Ｃ）に沿って、所定の速度で搬送する。搬送装置１００は、たとえば、対象Ｔが載置される載置部と、この載置部を動かす駆動部とを含んでいる。
　光源装置２００は、対象Ｔに光を照射するためのものであり、光源２０を有している（図２）。この光源２０は、たとえば線状光源である。光源２０で発生した光が対象Ｔに照射されると、対象Ｔに光が照射された領域（以下、照射領域Ｒｉという）が形成される。光源２０は、たとえば、所定の位置に固定されており、所定の位置から搬送方向Ｃに移動する対象Ｔに光を照射する。これにより、対象Ｔの被検査領域Ｒｔに対する照射領域Ｒｉの位置が変化する。光源装置２００は、たとえば、複数の光源２０を有しており、この複数の光源２０は、対象Ｔの搬送方向に沿って、所定の間隔で配置されている。対象Ｔの搬送方向における所定の位置に、複数の光源２０が配置されていてもよい。
　図３は、光源２０によって形成された照射領域Ｒｉの輝度のイメージを表している。照射領域Ｒｉは、たとえば、略円または略楕円の平面形状を有している。照射領域Ｒｉの輝度は、中央部（中央部Ｒｉｃ）で最も高く、中央部Ｒｉｃ内の輝度は、ほぼ均一である。一方、中央部Ｒｉｃから離れるにつれて、輝度が徐々に低くなっている。即ち、照射領域Ｒｉでは、中央部Ｒｉｃの輝度の変化に比べて、中央部Ｒｉｃの外側の周辺部（周辺部Ｒｉｅ）における輝度の変化が大きくなっている。特に、照射領域Ｒｉの周縁近傍では、照明強度の変化が大きい。このため、照射領域Ｒｉの周辺部Ｒｉｅ、好ましくは、照射領域Ｒｉの周縁近傍に重なる領域を撮像することにより、種々の照明強度での撮像画像と同様の画像を得ることができる。
　撮像装置３００は、対象Ｔを撮像するためのものであり、カメラ３０を有している（図２）。撮像装置３００は、たとえば、複数のカメラ３０を有しており、各々のカメラ３０が所定の位置に固定されている。複数のカメラ３０は各々、搬送される対象Ｔの表面の各部を連続的に、あるいは、非連続的に撮像する。これにより、検査システム１では、対象Ｔに対する照射領域Ｒｉの位置が変化しながら、より具体的には、対象Ｔの被検査領域Ｒｔに対する、中央部Ｒｉｃおよび周辺部Ｒｉｅの位置が変化しながら、対象Ｔの表面が撮像される。
　図４Ａ～図４Ｃは、搬送方向Ｃに沿って搬送される対象Ｔの被検査領域Ｒｔと、光源２０（照射領域Ｒｉ）およびカメラ３０との位置関係を表している。対象Ｔが搬送方向Ｃに沿って搬送されると、たとえば、対象Ｔの被検査領域Ｒｔに、照射領域Ｒｉの中央部Ｒｉｃ（図４Ａ）、周辺部Ｒｉｅ（図４Ｂ）および周縁近傍（図４Ｃ）が順次重なる。したがって、所定の位置に固定されたカメラ３０により、照射領域Ｒｉの中央部Ｒｉｃ、周辺部Ｒｉｅおよび周縁近傍各々に重なる対象Ｔの被検査領域Ｒｔが撮像される。撮像装置３００は、このようにカメラ３０により撮像された複数の画像を出力する。
　解析装置４００は、主に、撮像装置３００との間で各種の情報や指示を送受信する。解析装置４００は、撮像装置３００で撮像された複数の画像各々の画像情報を取得し、対象Ｔの表面の欠陥を解析する。解析装置４００は、たとえばサーバーおよびＰＣ等のコンピューターである。解析装置４００は、複数の装置から構成されてもよく、たとえば多数のサーバーによってクラウドサーバーとして仮想的に構成されてもよい。
　図５は、解析装置４００の概略構成を示すブロック図である。
　図５に示すように、解析装置４００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４１０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）４２０、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４３０、ストレージ４４０、通信インターフェース４５０および操作表示部４６０を有する。各構成は、バス４７０を介して相互に通信可能に接続されている。
　ＣＰＵ４１０は、ＲＯＭ４２０やストレージ４４０に記録されているプログラムにしたがって、上記各構成の制御や各種の演算処理を行う。
　ＲＯＭ４２０は、各種プログラムや各種データを格納する。
　ＲＡＭ４３０は、作業領域として一時的にプログラムやデータを記憶する。
　ストレージ４４０は、オペレーティングシステムを含む各種プログラムや、各種データを格納する。たとえば、ストレージ４４０には、他の装置との間で各種情報を送受信したり、他の装置から取得する各種情報に基づいて出力する解析結果を決定したりするためのアプリケーションがインストールされている。また、ストレージ４４０には、出力する解析結果の候補や、各種情報に基づいて出力する解析結果を決定するために必要となる情報が記憶されている。なお、解析結果を決定するために機械学習モデルを使用する場合は、機械学習に必要となる学習済みモデル等が記憶されてもよい。
　通信インターフェース４５０は、他の装置と通信するためのインターフェースである。通信インターフェース４５０としては、有線または無線の各種規格による通信インターフェースが用いられる。
　操作表示部４６０は、たとえば、タッチパネル式のディスプレイであり、各種情報を表示すると共に、ユーザーからの各種入力を受け付ける。
　図６は、解析装置４００の機能構成を示すブロック図である。
　解析装置４００は、ＣＰＵ４１０がストレージ４４０に記憶されたプログラムを読み込んで処理を実行することによって、たとえば、取得部４１１、特定部４１２、追尾部４１３、抽出部４１４、解析部４１５および出力部４１６として機能する。
　取得部４１１は、撮像装置３００によって撮像された複数の画像各々の画像情報を取得する。この撮像装置３００によって撮像された複数の画像は、光源２０から対象Ｔの被検査領域Ｒｔに光を照射しながら撮像された複数の画像を含んでいる（図４Ａ～図４Ｃ参照）。
　特定部４１２は、取得部４１１で取得された画像情報に基づいて、画像における被検査領域Ｒｔを特定する。特定部４１２は、複数の被検査領域Ｒｔを特定してもよい。特定部４１２は、たとえば、機械学習を用いることにより、撮像装置３００によって撮像された画像における被検査領域Ｒｔを特定する。特定部４１２は、たとえば、学習済みモデルを用いて被検査領域Ｒｔを特定する。この学習済みモデルには、たとえば、欠陥のない領域のみが撮像されるとともに非欠陥ラベルが付与された画像と、欠陥が撮像されるとともに欠陥ラベルおよび欠陥の位置の正解ラベルが付与された画像とが予め学習されている。あるいは、欠陥および非欠陥の分類方法が学習された学習済みモデルを用い、画像を走査することにより、被検査領域Ｒｔを特定してもよい。特定部４１２は、機械学習を用いずに、被検査領域Ｒｔを特定してもよく、たとえば、形状特徴を用いて被検査領域Ｒｔを特定してもよい。このとき、たとえば、被検査領域Ｒｔとその周辺との輝度差等に由来する画像特徴に基づいて、被検査領域Ｒｔが特定される。
　追尾部４１３は、特定部４１２により特定された被検査領域Ｒｔに基づいて、複数の画像において被検査領域Ｒｔを追尾する。追尾部４１３は、複数の被検査領域Ｒｔ各々を追尾してもよい。追尾部４１３では、たとえば、所定の画像における被検査領域Ｒｔの位置と、当該画像の撮像位置とに基づいて、別の画像における被検査領域Ｒｔの位置が推定される。追尾の具体的な方法としては、以下の方法が挙げられる。たとえば、搬送装置１００の速度情報に基づいて、被検査領域Ｒｔの移動量を推定することにより追尾が行われる。あるいは、異なる画像間での被検査領域Ｒｔの移動量は限定的であるとの前提のもと、追尾を行ってもよい。たとえば、特定部４１２により特定された画像における被検査領域Ｒｔの位置を基準とし、別の画像において、被検査領域Ｒｔの特定処理を再度行うことにより、被検査領域Ｒｔの追尾がなされてもよい。搬送装置１００の速度情報に基づいて、被検査領域Ｒｔの移動量を推定した後、さらに、被検査領域Ｒｔの特定処理を行ってもよい。追尾部４１３は、画像において被検査領域Ｒｔの切り出しを行ってもよい。
　抽出部４１４は、照射領域Ｒｉと、追尾部４１３により追尾された被検査領域Ｒｔとが所定の関係にある画像を抽出する。各画像における照射領域Ｒｉの位置は、たとえば、輝度に基づいて決定される。ここで、被検査領域Ｒｔと照射領域Ｒｉとが所定の関係にある画像とは、照射領域Ｒｉとの位置関係において、被検査領域Ｒｔの状態を解析しやすい画像である。
　抽出部４１４は、たとえば、被検査領域Ｒｔを含む画像から、被検査領域Ｒｔの輝度が所定の不均一性を有する画像を抽出する。具体的には、抽出部４１４は、被検査領域Ｒｔの少なくとも一部に照射領域Ｒｉの周辺部Ｒｉｅが重なっている画像を抽出する。あるいは、抽出部４１４は、被検査領域Ｒｔの少なくとも一部に照射領域Ｒｉの周縁近傍が重なっている画像を抽出する。詳細は後述するが、これにより、撮像装置３００により撮像された複数の画像から、被検査領域Ｒｔの状態をより解析しやすい画像を抽出することができ、解析部４１５による解析の精度を向上させることが可能となる。
　照射領域Ｒｉと被検査領域Ｒｔとの関係は、たとえば、画像における被検査領域Ｒｔの最大輝度と最小輝度との差および平均輝度に基づいて決定される。抽出部４１４は、たとえば、画像における被検査領域Ｒｔの最大輝度と最小輝度との差が所定の範囲にあり、かつ、画像における被検査領域Ｒｔの平均輝度が所定の範囲にある画像を抽出する。この所定の範囲の値は、たとえば、実験等により決定される。
　あるいは、照射領域Ｒｉと被検査領域Ｒｔとの関係は、画像における被検査領域Ｒｔ近傍の輝度の分散およびヒストグラムの少なくとも一方に基づいて決定されてもよい。抽出部４１４は、たとえば、画像における被検査領域Ｒｔ近傍の輝度のヒストグラムの分散度合いおよび中央値が所定の範囲にある画像を抽出する。この所定の範囲は、たとえば、実験等により決定される。
　抽出部４１４では、一の被検査領域Ｒｔについて、複数の画像が抽出されることが好ましい。抽出部４１４が一の被検査領域Ｒｔについて複数の画像を抽出することにより、解析部４１５による解析の精度を向上させることができる。
　解析部４１５は、抽出部４１４で抽出された画像の画像情報に基づいて、被検査領域Ｒｔの状態を解析する。具体的には、解析部４１５は、被検査領域Ｒｔの欠陥の形状を解析する。たとえば、解析部４１５は、対象Ｔの被検査領域Ｒｔの欠陥が凹形状および凸形状のどちらであるかを判定する。解析部４１５は、抽出部４１４で抽出された複数の画像の画像情報各々について、欠陥の形状を判定した後、これらの判定結果を統合して解析結果を導きだしてもよい。
　解析部４１５は、たとえば、機械学習を用いて対象Ｔの被検査領域Ｒｔの状態を解析する。この機械学習には、ニューラルネットワークを用いたディープラーニングが含まれる。解析部４１５は、たとえば、学習済みモデルを用いて被検査領域Ｒｔの状態を解析する。この学習済みモデルは、たとえば、欠陥が撮像された画像と欠陥の形状の正解ラベルとの組み合わせの訓練データを用いて予め学習されている。訓練データとして用いられている画像は、たとえば、抽出部４１４によって抽出された画像である。このように抽出された画像を用いて学習された学習済みモデルを使用することにより、ノイズが減り、解析の精度を向上させることが可能となる。
　出力部４１６は、解析部４１５によって解析された対象Ｔの被検査領域Ｒｔの状態の解析結果を、操作表示部４６０への表示等によって出力する。出力部４１６は、通信インターフェース４５０を介して外部の装置へ送信することで解析結果を出力してもよい。
　〔解析装置の処理概要〕
　図７は、解析装置４００において実行される処理の手順を示すフローチャートである。図７のフローチャートに示される解析装置４００の処理は、解析装置４００のストレージ４４０にプログラムとして記憶されており、ＣＰＵ４１０が各部を制御することによって実行される。
　まず、解析装置４００は、撮像装置３００によって撮像された対象Ｔに関する複数の画像各々の画像情報を取得する（ステップＳ１０１）。次に、解析装置４００は、ステップＳ１０１で取得した画像情報に基づいて、画像における対象Ｔの被検査領域Ｒｔを特定する（ステップＳ１０２）。
　続いて、解析装置４００は、ステップＳ１０２で特定された被検査領域Ｒｔに基づいて、複数の画像の被検査領域Ｒｔを追尾する（ステップＳ１０３）。
　次に、解析装置４００は、ステップＳ１０３で追尾された被検査領域をＲｔに基づいて、被検査領域Ｒｔと照射領域Ｒｉとが所定の関係にある画像を抽出する（ステップＳ１０４）。このステップＳ１０４では、たとえば、被検査領域Ｒｔの少なくとも一部に照射領域Ｒｉの周辺部Ｒｉｅが重なっている画像、あるいは、被検査領域Ｒｔの少なくとも一部に照射領域Ｒｉの周縁近傍が重なっている画像が抽出される。
　続いて、解析装置４００は、ステップＳ１０４で抽出された画像の画像情報に基づいて、被検査領域Ｒｔの状態を解析する（ステップＳ１０５）。たとえば、解析装置４００は、被検査領域Ｒｔの欠陥の形状を解析し、対象Ｔの被検査領域Ｒｔの欠陥が凹形状および凸形状のどちらであるかを判定する。
　解析装置４００は、ステップＳ１０５の処理において対象Ｔの被検査領域Ｒｔの状態を解析した後、この解析結果を出力し（ステップＳ１０６）、処理を終了する。
　〔解析装置４００の作用効果〕
　以上のように、本実施形態の解析装置４００によれば、抽出部４１４により、照射領域Ｒｉと対象Ｔの被検査領域Ｒｔとが所定の関係にある画像が抽出される。これにより、被検査領域Ｒｔの状態をより解析しやすい画像を抽出することができる。以下、この作用効果について説明する。
　画像に基づいて、被検査領域における欠陥の有無および欠陥の形状等を検査するとき、被検査領域の状態を解析しやすい画像を用いることにより、検査の精度を向上させることが可能となる。被検査領域の状態を解析しやすい画像を得る方法として、たとえば、欠陥近傍の照明条件を変化させながら撮像する方法が考え得る。しかし、この方法では、照明条件を変化させるための複雑な制御、あるいは種々の照明強度の光源等が必要となり、コストがかさむおそれがある。
　これに対し、本実施形態に係る解析装置４００では、撮像装置３００により撮像された画像から、照射領域Ｒｉと被検査領域Ｒｔとが所定の関係にある画像が抽出される。このため、解析装置４００は、撮像装置３００により撮像された全ての画像のうち、照射領域Ｒｉとの関係で、より被検査領域Ｒｔの状態を解析しやすい画像のみを抽出することができる。具体的に、解析装置４００は、被検査領域Ｒｔ近傍の輝度が所定の不均一性を有する画像、被検査領域Ｒｔの少なくとも一部に照射領域Ｒｉの周辺部Ｒｉｅが重なっている画像、あるいは、被検査領域Ｒｔの少なくとも一部に照射領域Ｒｉの周縁近傍が重なっている画像を抽出する。
　このように解析装置４００では、被検査領域Ｒｔの状態をより解析しやすい画像に基づいて、被検査領域Ｒｔの状態が解析される。一方、被検査領域Ｒｔの状態を解析しにくい画像は解析に使用されない。被検査領域Ｒｔの状態を解析しにくい画像とは、たとえば、被検査領域Ｒｔ全域が照射領域Ｒｉの中央部Ｒｉｃに重なっている画像、および被検査領域Ｒｔ全域が照射領域Ｒｉの外側にある画像等である。したがって、対象Ｔの被検査領域Ｒｔの状態を解析しにくい画像を含んだ状態で被検査領域Ｒｔの状態を解析する場合に比べて、解析装置４００では、検査の精度を向上させることが可能となる。このような解析装置４００を含む検査システム１では、照明条件の複雑な制御および種々の光源等が不要であり、コストを抑えつつ、検査の精度を向上させることができる。
　特に、解析装置４００では、ディープラーニングを用いて解析を行うとき、以下に説明するように、検査の精度を効果的に向上させることができる。ディープラーニングでは、畳み込み演算により、画像から特徴が抽出される。このため、欠陥の形状を解析しにくい画像が解析画像に含まれていると、ノイズが多くなり、解析の精度が低下しやすい。したがって、予め、対象Ｔの被検査領域Ｒｔの状態を解析しやすい画像を抽出しておき、この画像を用いてディープラーニングによる解析を行うことにより、ノイズが減り、検査の精度を効果的に向上させることができる。
　上記のように、本実施形態の解析装置４００では、照射領域Ｒｉと対象Ｔの被検査領域Ｒｔとが所定の関係にある画像が抽出される。これにより、被検査領域Ｒｔの状態をより解析しやすい画像を抽出することができる。よって、検査システム１の検査の精度を向上させることが可能となる。
　また、解析装置４００は、被検査領域Ｒｔの最大輝度と最小輝度との差および平均輝度に基づいて、画像を抽出することが好ましい。これにより、より確実に被検査領域Ｒｔの形状を解析しやすい画像が抽出され、検査の精度をより向上させることが可能となる。
　また、解析装置４００は、一の被検査領域Ｒｔについて複数の画像を抽出し、この複数の画像各々の画像情報に基づいて一の被検査領域Ｒｔの状態を解析することが好ましい。これにより、単一の画像の画像情報に基づいて、一の被検査領域Ｒｔの状態を解析する場合に比べて、解析の精度をより向上させることが可能となる。
　また、解析装置４００は、特定部４１２および追尾部４１３を有していることが好ましい。これにより、抽出部４１４は、追尾された被検査領域Ｒｔに基づいて画像を抽出することができる。したがって、撮像装置３００により撮像された全ての画像からの抽出に比べて、画像を抽出しやすくなり、解析の精度を高めることが可能となる。特に、解析装置４００が複数の被検査領域Ｒｔ各々の状態を解析するとき、以下のような理由により、効果的に解析の精度を高めることができる。解析装置４００が複数の被検査領域Ｒｔの状態を解析するとき、追尾部４１３は、複数の被検査領域Ｒｔ各々を追尾する。このため、複数の被検査領域Ｒｔ間での混同が生じにくくなり、解析の精度を高めることができる。
　以下、上記実施形態の変形例について説明するが、上記実施形態と同様の点についての説明は省略または簡略化する。
　＜変形例１＞
　図８は、変形例１に係る解析装置４００の機能構成の一例を表している。この解析装置４００は、取得部４１１、特定部４１２、追尾部４１３、抽出部４１４、解析部４１５および出力部４１６に加えて、学習部４１７を有している。この点を除き、変形例１に係る解析装置４００は、上記実施形態に係る解析装置４００と同様の構成を有しており、同様の作用効果を奏する。
　学習部４１７は、解析部４１５を学習させる。具体的には、学習部４１７は、抽出部４１４によって抽出された画像における被検査領域Ｒｔと、この被検査領域Ｒｔの状態との組み合わせを解析部４１５に学習させる。ここでは、学習部４１７が、抽出部４１４によって抽出された画像、即ち、照射領域Ｒｉと被検査領域Ｒｔとが所定の関係にある画像のみを学習する。これにより、被検査領域Ｒｔの状態をより解析しやすい画像が学習されるので、ノイズが減り、学習の精度を向上させることができる。即ち、学習部４１７が、解析しにくい画像を含んで学習する場合に比べて、学習部４１７によって学習された解析部４１５の精度を向上させることが可能となる。
　このように、解析装置４００は、学習装置としての機能を有していてもよい。あるいは解析装置４００とは別に、学習装置を設けるようにしてもよい。
　＜変形例２＞
　図９は、変形例２に係る解析装置４００の機能構成の一例を表している。この解析装置４００は、取得部４１１、抽出部４１４、解析部４１５および出力部４１６を有している。即ち、この解析装置４００には、特定部および追尾部（図６の特定部４１２および追尾部４１３）が設けられていない。この点を除き、変形例２に係る解析装置４００は、上記実施形態に係る解析装置４００と同様の構成を有しており、同様の作用効果を奏する。
　この解析装置４００では、抽出部４１４が、取得部４１１によって取得された画像情報に基づいて、対象Ｔの被検査領域Ｒｔと照射領域Ｒｉとが所定の関係にある画像を抽出する。このように、解析装置４００では、取得部４１１によって取得された画像情報に基づいて、画像が抽出されてもよい。
　以上に説明した検査システム１の構成は、上述の実施形態および変形例の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な検査システムが備える構成を排除するものではない。
　たとえば、上述の実施形態においては、対象Ｔを所定の方向に搬送し、光源２０およびカメラ３０を所定の位置に固定する例を説明したが、対象Ｔを所定の位置に固定し、光源２０またはカメラ３０を移動させるようにしてもよい。即ち、検査システム１では、対象Ｔ、照射領域Ｒｉおよび撮像位置のいずれかが移動しながら、対象Ｔが撮像されればよい。
　また、搬送装置１００、光源装置２００、撮像装置３００および解析装置４００は、それぞれ複数の装置により構成されてもよく、これらが単一の装置として構成されてもよい。
　また、各構成が有する機能は、他の構成によって実現されてもよい。たとえば、光源装置２００および撮像装置３００は、解析装置４００に統合され、光源装置２００および撮像装置３００が有する各機能の一部または全部が解析装置４００によって実現されてもよい。
　また、上述の実施形態および変形例においては、検査システム１が、機械学習によって、対象Ｔの被検査領域Ｒｔの状態を解析する例を説明したが、検査システム１は、統計学的処理等の他の方法によって、対象Ｔの被検査領域Ｒｔの状態を解析してもよい。
　また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。
　また、上述した検査システム１における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。
　本出願は、２０２０年１１月３０日に出願された日本特許出願（特願２０２０－１９８５００号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。
　　１　　　検査システム、
　　１００　搬送装置、
　　２００　光源装置、
　　２０　　光源、
　　３００　撮像装置、
　　３０　　カメラ、
　　４００　解析装置、
　　４１０　ＣＰＵ、
　　４２０　ＲＯＭ、
　　４３０　ＲＡＭ、
　　４４０　ストレージ、
　　４５０　通信インターフェース、
　　４６０　操作表示部、
　　Ｔ　　対象、
　　Ｒｔ　被検査領域、
　　Ｒｉ　照射領域。

Claims (16)

  1. 　対象に光を照射しながら撮像された複数の画像各々の画像情報を取得する取得部と、
    　前記画像情報に基づいて、前記対象に前記光が照射された照射領域と、前記対象の被検査領域とが所定の関係にある前記画像を抽出する抽出部と、
    　前記抽出部で抽出された前記画像の前記画像情報に基づいて、前記被検査領域の状態を解析する解析部と
    　を備える、解析装置。
  2. 　前記照射領域は、中央部および前記中央部の外側の周辺部を有し、
    　前記抽出部は、前記被検査領域の少なくとも一部に前記照射領域の前記周辺部が重なっている前記画像を抽出する、請求項１に記載の解析装置。
  3. 　前記抽出部は、前記被検査領域に前記照射領域の周縁が重なっている前記画像を抽出する、請求項１または２に記載の解析装置。
  4. 　前記抽出部は、前記被検査領域の輝度が所定の不均一性を有する前記画像を抽出する、請求項１～３のいずれかに記載の解析装置。
  5. 　前記抽出部は、前記被検査領域の最大輝度と最小輝度との差および平均輝度に基づいて、前記画像を抽出する、請求項１～４のいずれかに記載の解析装置。
  6. 　前記抽出部は、前記被検査領域の輝度の分散およびヒストグラムの少なくとも一方に基づいて、前記画像を抽出する、請求項１～５のいずれかに記載の解析装置。
  7. 　前記取得部は、前記対象、前記照射領域および撮像位置のいずれかが移動しながら撮像された複数の前記画像各々の前記画像情報を取得する、請求項１～６のいずれかに記載の解析装置。
  8. 　前記取得部で取得された前記画像情報に基づいて、前記画像における前記被検査領域を特定する特定部と、
    　前記特定部により特定された前記被検査領域に基づいて、複数の前記画像における前記被検査領域を追尾する追尾部とをさらに有し、
    　前記抽出部は、前記追尾部により追尾された前記被検査領域に基づいて、前記画像を抽出する、請求項７に記載の解析装置。
  9. 　前記抽出部は、前記照射領域と、一の前記被検査領域とが所定の関係にある複数の前記画像を抽出し、
    　前記解析部は、複数の前記画像の前記画像情報に基づいて、一の前記被検査領域の状態を解析する、請求項１～８のいずれかに記載の解析装置。
  10. 　前記解析部は、学習済みモデルを用いて、前記被検査領域の状態を解析する、請求項１～９のいずれかに記載の解析装置。
  11. 　前記学習済みモデルは、前記抽出部で抽出された前記画像の前記被検査領域と、当該被検査領域の状態の正解ラベルとの組み合わせの訓練データを用いて予め学習されている、請求項１０に記載の解析装置。
  12. 　前記解析部は、ディープラーニングを用いて、前記被検査領域の状態を解析する、請求項１～１１のいずれかに記載の解析装置。
  13. 　前記被検査領域は、前記対象における欠陥の候補領域であり、
    　前記解析部は、前記欠陥の形状を解析する、請求項１～１２のいずれかに記載の解析装置。
  14. 　前記形状は、凹形状および凸形状である、請求項１３に記載の解析装置。
  15. 　対象に光を照射する光源装置と、
    　前記光源装置から光が照射された前記対象を撮像する撮像装置と、
    　請求項１～１４のいずれかに記載の解析装置と
    　を備える、検査システム。
  16. 　対象に光を照射しながら撮像された複数の画像各々の画像情報を取得する取得部と、
    　前記画像情報に基づいて、前記対象に前記光が照射された照射領域と、前記対象の被検査領域とが所定の関係にある前記画像を抽出する抽出部と、
    　前記抽出部で抽出された前記画像の前記画像情報に基づいて、前記被検査領域の状態を機械学習により解析する解析部と、
    　前記解析部を学習させる学習部と
    　を備える、学習装置。
PCT/JP2021/042388 2020-11-30 2021-11-18 解析装置、検査システム、および学習装置 WO2022113867A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022562670A JP7248201B2 (ja) 2020-11-30 2021-11-18 解析装置、検査システム、および学習装置
CN202180079661.6A CN116507907A (zh) 2020-11-30 2021-11-18 分析装置、检查***及学习装置
US18/252,599 US20240005473A1 (en) 2020-11-30 2021-11-18 Analysis apparatus, inspection system, and learning apparatus
EP21897841.9A EP4253943A4 (en) 2020-11-30 2021-11-18 ANALYSIS DEVICE, INSPECTION SYSTEM AND LEARNING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020198500 2020-11-30
JP2020-198500 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022113867A1 true WO2022113867A1 (ja) 2022-06-02

Family

ID=81754292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042388 WO2022113867A1 (ja) 2020-11-30 2021-11-18 解析装置、検査システム、および学習装置

Country Status (5)

Country Link
US (1) US20240005473A1 (ja)
EP (1) EP4253943A4 (ja)
JP (1) JP7248201B2 (ja)
CN (1) CN116507907A (ja)
WO (1) WO2022113867A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172845A (ja) 1998-12-04 2000-06-23 Suzuki Motor Corp 表面欠陥検査装置、表面欠陥検査方法及び表面欠陥検査用プログラムを記録した記録媒体
US20140079311A1 (en) * 2012-09-20 2014-03-20 Applied Materials Israel Ltd. System, method and computer program product for classification
JP2018204063A (ja) * 2017-05-31 2018-12-27 日立造船株式会社 監視装置および監視方法
JP2020070494A (ja) * 2018-11-02 2020-05-07 株式会社アイヴィワークス 薄膜蒸着工程を制御するための装置、方法及び命令を記録した記録媒体
JP2020198500A (ja) 2019-05-31 2020-12-10 株式会社Pfu 画像読取装置、制御方法及び制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4726983B2 (ja) 2009-10-30 2011-07-20 住友化学株式会社 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
WO2016121878A1 (ja) 2015-01-29 2016-08-04 株式会社デクシス 光学式外観検査装置、及びこれを用いた光学式外観検査システム
US20190096057A1 (en) * 2017-05-11 2019-03-28 Jacob Nathaniel Allen Object inspection system and method for inspecting an object
JP7021667B2 (ja) * 2017-05-29 2022-02-17 コニカミノルタ株式会社 表面欠陥検査装置および該方法
JP2020187657A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172845A (ja) 1998-12-04 2000-06-23 Suzuki Motor Corp 表面欠陥検査装置、表面欠陥検査方法及び表面欠陥検査用プログラムを記録した記録媒体
US20140079311A1 (en) * 2012-09-20 2014-03-20 Applied Materials Israel Ltd. System, method and computer program product for classification
JP2018204063A (ja) * 2017-05-31 2018-12-27 日立造船株式会社 監視装置および監視方法
JP2020070494A (ja) * 2018-11-02 2020-05-07 株式会社アイヴィワークス 薄膜蒸着工程を制御するための装置、方法及び命令を記録した記録媒体
JP2020198500A (ja) 2019-05-31 2020-12-10 株式会社Pfu 画像読取装置、制御方法及び制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4253943A4

Also Published As

Publication number Publication date
EP4253943A1 (en) 2023-10-04
JP7248201B2 (ja) 2023-03-29
US20240005473A1 (en) 2024-01-04
EP4253943A4 (en) 2024-05-01
CN116507907A (zh) 2023-07-28
JPWO2022113867A1 (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
US20220084183A1 (en) Defect detection device, defect detection method, and program
EP3176751B1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
JP5920994B2 (ja) マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP2013526717A5 (ja)
KR100742003B1 (ko) 표면 결함 검사 방법 및 장치
US20230053085A1 (en) Part inspection system having generative training model
Tang et al. Anomaly detection of core failures in die casting X-ray inspection images using a convolutional autoencoder
JP4322230B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
KR20180115645A (ko) 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법
JP6812118B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP4318579B2 (ja) 表面欠陥検査装置
WO2022113867A1 (ja) 解析装置、検査システム、および学習装置
Castejón-Limas et al. Texture descriptors for automatic estimation of workpiece quality in milling
CN115375610A (zh) 检测方法及装置、检测设备和存储介质
CN111833350A (zh) 机器视觉检测方法与***
JP2004296592A (ja) 欠陥分類装置、欠陥分類方法およびプログラム
US10241000B2 (en) Method for checking the position of characteristic points in light distributions
JP6811540B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP7469740B2 (ja) ベルト検査システムおよびベルト検査プログラム
KR20190119801A (ko) 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법
Dias et al. Identification of marks on tires using artificial vision for quality control
JP4017585B2 (ja) 塗装面の検査装置
JPH109835A (ja) 表面欠陥検査装置
CN111610205A (zh) 一种金属零部件x光图像缺陷检测装置
JP2005291844A (ja) 表面欠陥検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897841

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022562670

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18252599

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180079661.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021897841

Country of ref document: EP

Effective date: 20230630