WO2019112040A1 - 検査システム、検査方法、プログラム、及び、記憶媒体 - Google Patents

検査システム、検査方法、プログラム、及び、記憶媒体 Download PDF

Info

Publication number
WO2019112040A1
WO2019112040A1 PCT/JP2018/045094 JP2018045094W WO2019112040A1 WO 2019112040 A1 WO2019112040 A1 WO 2019112040A1 JP 2018045094 W JP2018045094 W JP 2018045094W WO 2019112040 A1 WO2019112040 A1 WO 2019112040A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
inspection system
determination unit
determination
Prior art date
Application number
PCT/JP2018/045094
Other languages
English (en)
French (fr)
Inventor
隆信 尾島
ジェッフリー フェルナンド
本村　秀人
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201880078862.2A priority Critical patent/CN111433574B/zh
Priority to CN202211609178.7A priority patent/CN115979424A/zh
Priority to DE112018006287.2T priority patent/DE112018006287T5/de
Priority to JP2019558296A priority patent/JP7285502B2/ja
Priority to US16/770,537 priority patent/US11379968B2/en
Publication of WO2019112040A1 publication Critical patent/WO2019112040A1/ja
Priority to US17/827,183 priority patent/US11727554B2/en
Priority to US18/212,025 priority patent/US20230334644A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/555—Measuring total reflection power, i.e. scattering and specular
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8411—Application to online plant, process monitoring
    • G01N2021/8416—Application to online plant, process monitoring and process controlling, not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G01N2021/8427—Coatings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8845—Multiple wavelengths of illumination or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • the present disclosure relates to an inspection system, an inspection method, a program, and a storage medium.
  • the present disclosure relates to an inspection system, an inspection method, a program, and a storage medium that perform determination on a surface of an object by an image.
  • Patent Document 1 discloses a coloring inspection apparatus.
  • the color inspection apparatus of Patent Document 1 includes a camera having three spectral sensitivities linearly converted to be equivalent to the CIEXYZ color matching function, and an image having three spectral sensitivities acquired by the camera as tristimulus values X in the CIEXYZ color system.
  • Y, Z Arithmetic processing unit that acquires and calculates color data converted into Y, Z, and an illumination unit that illuminates an automobile that is an example of the measurement object, and two xyz chromaticity histogram distributions of an inspection object and a reference object
  • the color is checked by computing a color distribution match index which indicates the overlapping proportions of.
  • An object of the present invention is to provide an inspection system, an inspection method, a program, and a storage medium capable of improving the accuracy of determination of the color of the surface of an object.
  • An inspection system includes an acquisition unit and a determination unit.
  • the acquisition unit acquires an image of a surface of an object.
  • the determination unit performs color determination processing.
  • the color determination process is obtained from the image of the surface of the object acquired by the acquisition unit, on the surface of the object based on a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different from each other. It is a process of determining the color of the surface of the object.
  • the inspection method includes an acquisition step and a determination step.
  • the acquisition step is a step of acquiring an image of the surface of the object.
  • the determination step is a step of performing a color determination process.
  • the color determination process is performed based on a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different from each other on the surface of the object obtained from the image of the surface of the object. Is a process of determining
  • a program according to an aspect of the present disclosure is a program for causing one or more processors to execute the inspection method.
  • a storage medium is a non-transitory computer readable storage medium storing the program.
  • FIG. 1 is a block diagram of an inspection system according to one embodiment.
  • FIG. 2 is an explanatory view of the inspection system.
  • FIG. 3 is a flowchart of setting processing of the inspection system.
  • FIG. 4 is a flowchart of the color determination process of the inspection system.
  • FIG. 5 is an explanatory view of a first separated image.
  • FIG. 6 is an explanatory view of a second separated image.
  • FIG. 7 is an explanatory diagram of separation processing of the inspection system.
  • FIG. 8 is an explanatory view of another separation process of the inspection system.
  • FIG. 9 is an explanatory diagram of a combining process of the inspection system.
  • FIG. 10 is another explanatory view of the synthesizing process of the inspection system.
  • FIG. 1 is a block diagram of an inspection system according to one embodiment.
  • FIG. 2 is an explanatory view of the inspection system.
  • FIG. 3 is a flowchart of setting processing of the inspection system.
  • FIG. 4 is
  • FIG. 11 is an explanatory view of the toning process of the inspection system.
  • FIG. 12 is a flowchart of the painting process including the painting determination process of the inspection system.
  • FIG. 13 is an explanatory view of a painting process of the inspection system.
  • FIG. 14 is another explanatory view of the painting process of the inspection system.
  • FIG. 15 is a flowchart of the texture determination process of the inspection system.
  • FIG. 16 is an explanatory view of the texture determination process of the inspection system.
  • FIG. 17 is an explanatory diagram of an imaging system.
  • FIG. 1 shows an inspection system 1 according to an embodiment.
  • the inspection system 1 of the present embodiment includes an acquisition unit F11 and a determination unit F13.
  • the acquisition unit F11 acquires an image of the surface of the object 100.
  • the determination unit F13 performs color determination processing.
  • the color determination process is performed based on a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different from each other on the surface of the object 100 obtained from the image of the surface of the object 100 acquired by the acquisition unit F11. This is a process of determining the color of the surface of the object 100.
  • the color of the surface of the object 100 is determined not from a single point of view but from multiple points of view.
  • the color of the surface of the object 100 is determined using a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different on the surface of the object 100.
  • the specular reflection component reflects the state of the surface of the object 100 better than the diffuse reflection component
  • the diffuse reflection component reflects the color itself of the surface of the object 100 better than the specular reflection component.
  • the color of the surface of the object 100 can be determined in consideration of not only the color itself of the surface of the object 100 but also the state of the surface of the object 100.
  • the accuracy of the determination of the color of the surface of the object 100 can be improved.
  • the inspection system 1 is a system for inspecting the object 100.
  • the inspection system 1 has a function as a coloring inspection device.
  • the inspection by the inspection system 1 targets the color, the painted state, and the texture of the surface of the object 100.
  • the inspection system 1 can also paint the object 100.
  • the inspection system 1 can paint the object 100 according to the result of the inspection, thereby obtaining the desired painted object 100.
  • the object 100 may be an object having a surface.
  • the object 100 is a car.
  • the surface of the object 100 is the outer surface of a car body.
  • the object 100 is not limited to a car.
  • the object 100 may or may not be a mobile other than a car. Examples of mobiles include motorcycles, trains, drones, aircraft, construction machines, and ships.
  • the object 100 may be an electrical device, a dish, a container, furniture, clothes, a building material, or the like.
  • the object 100 may be an object having a surface.
  • the inspection system 1 of the present embodiment can be suitably used.
  • the inspection system 1 includes a determination system 10, a lighting system 20, an imaging system 30, and a painting system 40, as shown in FIG.
  • the illumination system 20 is a system for irradiating the surface of the object 100 with light.
  • the illumination system 20 includes a plurality of (four in FIG. 2) lamps 21 for irradiating the object 100 with light, as shown in FIG.
  • the lamp 21 is an LED lamp as an example.
  • the lamp 21 also emits white light.
  • the number of the lamps 21 is not particularly limited, and the type of the lamps 21 may be a light source other than the LED.
  • the light emission color of the lamp 21 is not limited to white.
  • the luminescent color of the lamp 21 may be appropriately set in consideration of the color of the object 100 and the color detectable by the imaging system 30.
  • the wavelength of the light emitted by the illumination system 20 may be variable.
  • the inspection system 1 of this embodiment includes the illumination system 20, the illumination system 20 may be omitted as long as the color of the object 100 can be determined without the illumination system 20.
  • the imaging system 30 is a system for generating an image (digital image) of the surface of the object 100.
  • the imaging system 30 images the surface of the object 100 illuminated by the illumination system 20 to generate an image of the surface of the object 100.
  • the imaging system 30 includes a plurality of cameras. Each camera comprises one or more image sensors. The camera may include one or more line sensors.
  • the plurality of cameras of the imaging system 30 include four (first) cameras 31 (311 to 314) and one (second) camera 32 as shown in FIG.
  • the first camera 31 and the second camera 32 are displaceable with respect to the object 100.
  • the second camera 32 has a wider angle of view than the first camera 31 and can generate an entire image of the object 100.
  • the second camera 32 is located at a position that overlooks the object 100 and generates an image that represents the overhead view of the object 100.
  • the painting system 40 is a system for painting the surface of the object 100.
  • the paint system 40 includes a plurality of paint parts (two paint parts 41, 42) as shown in FIG.
  • the painting units 41 and 42 are both painting robots.
  • the painted parts 41 and 42 are displaceable with respect to the object 100.
  • the painting robot may have a conventionally known configuration, and thus detailed description will be omitted.
  • the coating system 40 should just contain one or more coating parts, and the number of coating parts is not limited to two.
  • the determination system 10 includes an input / output unit 11, a storage unit 12, and a processing unit 13.
  • the determination system 10 may be realized by a computer system.
  • a computer system may include one or more processors, one or more connectors, one or more communication devices, one or more memories, and the like.
  • the input / output unit 11 inputs / outputs information between the illumination system 20, the imaging system 30, and the painting system 40.
  • the input / output unit 11 is communicably connected to the lighting system 20, the imaging system 30, and the painting system 40.
  • the input / output unit 11 includes one or more input / output devices, and uses one or more input / output interfaces.
  • the storage unit 12 is used to store information used by the processing unit 13.
  • the storage unit 12 includes one or more storage devices.
  • the storage device is, for example, a random access memory (RAM) or an electrically erasable programmable read only memory (EEPROM).
  • the storage unit 12 stores sample data used in the color determination process.
  • the sample data includes information of a desired color of the surface of the object 100 (that is, color data as a sample).
  • Information on the target color of the surface of the object 100 is given as an example of the reflectance value for each wavelength (see FIG. 11).
  • target color information on the surface of the object 100 is given by reflectance values in the wavelength range of 380 nm to 780 nm. That is, sample data has an aspect as a digital color sample.
  • the sample data may include at least one of the shape of the object 100 (shape information of the imaging target) and the imaging condition of the object 100.
  • the imaging condition of the object 100 may include the relative positional relationship between the object 100, the illumination system 20, and the imaging system 30 (that is, information on the positional relationship between the imaging object, the illumination, and the camera). That is, the imaging condition of the object 100 may include information (illumination information) regarding the illumination by the illumination system 20.
  • the sample data may be an entire image of the surface of the object 100 captured under a predetermined imaging condition.
  • the storage unit 12 stores reference information used in the painting determination process.
  • the reference information represents the intended painted state of the surface of the object 100. In other words, the reference information indicates that the painted state of the object 100 should be.
  • the processing unit 13 can be realized by, for example, one or more processors (microprocessors). That is, the one or more processors execute the one or more programs (computer programs) stored in the one or more memories to function as the processing unit 13.
  • the one or more programs may be recorded in advance in one or more memories, or may be recorded and provided through a telecommunication line such as the Internet or in a non-transitory recording medium such as a memory card.
  • the processing unit 13 performs setting processing (see FIG. 3), color determination processing (see FIG. 4), painting determination processing (see FIG. 12), and texture determination processing (see FIG. 15).
  • the processing unit 13 has an acquisition unit F11, a separation unit F12, and a determination unit F13, as shown in FIG.
  • the acquisition unit F11, the separation unit F12, and the determination unit F13 do not indicate a substantial configuration, but indicate functions implemented by the processing unit 13.
  • the acquisition unit F11 acquires an image of the surface of the object 100 (see FIGS. 9 and 10).
  • the acquisition unit F11 acquires an image of the surface of the object 100 from the imaging system 30. That is, the acquisition unit F11 receives an image from the imaging system 30 via the input / output unit 11.
  • the image acquired by the acquisition unit F11 from the imaging system 30 is determined by the imaging condition of the imaging system 30.
  • the separation unit F12 executes separation processing.
  • the separation process is a process for obtaining a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different from each other on the surface of the object 100 from the image of the surface of the object 100 acquired by the acquisition unit F11.
  • the separation unit F12 generates a plurality of separated images from the image acquired by the acquisition unit F11 as images representing a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different on the surface of the object 100
  • the plurality of separated images represent images of the surface of the object 100, but are images in which the ratio of the specular reflection component to the diffuse reflection component is different from each other.
  • the plurality of separated images are a first separated image P10 (see FIG. 5) and a second separated image (see FIG. 6).
  • the number of the plurality of separated images is not limited to two, and three or more separated images may be used.
  • the plurality of reflection states include the state of light reflection on the surface of the object 100.
  • the ratio of the specular reflection component to the diffuse reflection component may change. Therefore, the plurality of reflection states can be said to be the state of the surface of the object 100 viewed from different viewpoints.
  • an image representing different reflection states on the surface of the object 100 can be obtained.
  • the obtained image may include both specular and diffuse components.
  • the specular reflection component has a peak around a region where the incident angle of light from the light source L to the surface S is equal to the reflection angle of light at the surface S. Therefore, the specular reflection component is dominant in the area corresponding to the predetermined range ( ⁇ ⁇ ⁇ ) centered on the reflection angle ⁇ on the imaging surface I.
  • the diffuse reflection component is dominant in a region corresponding to an area other than the predetermined range ( ⁇ ⁇ ⁇ ) on the imaging surface I. Therefore, on the imaging surface I, the intensity of the reflected light is given as a combination of the specular reflection component and the diffuse reflection component.
  • the specular reflection component and the diffuse reflection component can be estimated by a statistical model. Further, since the specular reflection component and the diffuse reflection component have different intensity distributions, they can be separated based on the gradation value (brightness value) of the image, as shown in FIG.
  • the separation unit F12 extracts the first separated image P10 (see FIG. 5) and the second separated image (see FIG. 6) from the image acquired by the acquisition unit F11. Therefore, the plurality of reflection states may include the state of only the specular reflection component and the state of only the diffuse reflection component.
  • the first separated image P10 represents the state of only the specular reflection component on the surface of the object 100
  • the second separated image P20 represents the state of only the diffuse reflection component on the surface of the object 100.
  • the specular reflection component reflects the state of the surface of the object 100 better than the diffuse reflection component
  • the diffuse reflection component reflects the color itself of the surface of the object 100 better than the specular reflection component .
  • the determination unit F13 performs setting processing (see FIG. 3), color determination processing (see FIG. 4), painting processing (see FIG. 12), and texture determination processing (see FIG. 15).
  • the setting process is a preprocess of the color determination process.
  • setting of the imaging system 30 is performed.
  • the determination unit F13 determines an imaging condition of the imaging system 30 in order to set the imaging system 30.
  • the imaging conditions define operation states of a plurality of cameras of the imaging system 30, in particular, a plurality of first cameras 31.
  • the operation state may include the position of the object 100 relative to the surface, the imaging direction relative to the surface of the object 100, the angle of view (field of view), and the magnification (zooming).
  • the four first cameras 311 to 314 of the imaging system 30 generate images (partial images) P31 to P34 representing a part of the surface of the object 100, as shown in FIGS. 9 and 10. .
  • the plurality of partial images P31 to P34 are generated by the plurality of cameras 31 having different imaging directions regarding the object 100. Therefore, as shown in FIG. 9, the determination unit F13 generates an image (whole image) P30 representing the entire surface of the object 100 by partial images P31 to P34 of the four first cameras 311 to 314.
  • the imaging conditions of the imaging system 30 are determined.
  • the determination unit F13 sets the imaging system 30 in accordance with the determined imaging condition. This allows the imaging system 30 to obtain an entire image of the object 100.
  • the entire surface of the object 100 may be all parts to be determined in the color determination process, and it is necessary to be the entire surface of the object 100 in a practical sense There is no.
  • the determination unit F13 acquires a plurality of partial images P31 to P34 of the object 100 from the imaging system 30 by the acquisition unit F11 (S11).
  • the first separated image and the second separated image are acquired by the separating unit F12 from each of the plurality of partial images P31 to P34 acquired by the acquiring unit F11 (S12).
  • the determination unit F13 combines the first separated images of the plurality of partial images P31 to P34 to generate a first combined image. Further, the determination unit F13 combines the second separated images of the plurality of partial images P31 to P34 to generate a second combined image (S13).
  • the determination unit F13 sets imaging conditions of the imaging system 30 (operation states of the four first cameras 311 to 314) such that the continuity of the object 100 is maintained for each of the first composite image and the second composite image. Are determined (S14).
  • that the continuity of the object 100 (the continuity of the gradation of the imaging object) is maintained means that the shape of the object 100 is correctly reflected in the composite image obtained by combining the partial images.
  • FIG. 9 shows a state in which the continuity of the object 100 is maintained.
  • FIG. 10 shows a state in which the continuity of the object 100 is not maintained.
  • 9 and 10 show an example in which a composite image is generated not from the first and second separated images but from the partial images P31 to P34 in order to make the description easy to understand.
  • the determination unit F13 can determine the imaging condition with reference to the shape of the object 100 included in the sample data stored in the storage unit 12. The determination unit F13 determines an imaging condition so that the shape of the target 100 in the first separated image and the second separated image matches the shape of the target 100 included in the sample data. The determination unit F13 sets the imaging system 30 in accordance with the determined imaging condition (S15). As a result, the operating states of the four first cameras 311 to 314 are updated. As a result, the imaging system 30 makes it possible to obtain an entire image of the object 100.
  • the inspection system 1 combines the images (partial images) of the plurality of cameras 31 to create a composite image (a first composite image and a second composite image), calculates imaging conditions from the composite image, and outputs Do. Then, the inspection system 1 controls the angle of view and the zooming of the camera 31 so that the continuity of gradation of the imaging target (target object 100) is maintained from the composite image.
  • the color determination process is a process of determining the color of the surface of the object 100. More specifically, the color determination process is obtained from the image of the surface of the object 100 acquired by the acquiring unit F11, and a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different on the surface of the object 100 Is a process of determining the color of the surface of the object 100. In particular, in the color determination process, the determination unit F13 determines the color of the surface of the object 100 based on the plurality of separated images P10 and P20.
  • the determination unit F13 obtains the image of the object 100 based on the images P10 and P20 representing the entire surface of the object 100 in each of the plurality of reflection states obtained from the plurality of partial images P31 to P34. Determine the color of the surface.
  • the determination of the color of the surface of the object 100 may be performed in pixel units in the images P10 and P20.
  • the determination unit F13 acquires a plurality of partial images P31 to P34 of the object 100 from the imaging system 30 by the acquisition unit F11 (S21).
  • the first separation image and the second separation image are acquired by the separation unit F12 from each of the plurality of partial images P31 to P34 acquired by the acquisition unit F11 (S22).
  • the determination unit F13 combines the first separated images of the plurality of partial images P31 to P34 to generate a first combined image.
  • the determination unit F13 combines the second separated images of the plurality of partial images P31 to P34 to generate a second combined image (S23).
  • the determination unit F13 compares the sample data stored in the storage unit 12 with the target color information of the surface of the object 100 for each of the first composite image and the second composite image (S24).
  • the target color information of the surface of the object 100 includes target color information for the first composite image and target color information for the second composite image. Therefore, the determination unit F13 determines the color of the object 100 for each of the first composite image and the second composite image.
  • the determination unit F13 determines that the color obtained from the first composite image is Suppose that it passes.
  • the determination unit F13 determines that the color obtained from the second composite image is acceptable. I assume. Thus, the determination unit F13 determines the color of the surface of the object 100 based on an image representing the entire surface of the object 100 in each of a plurality of reflection states, which is obtained from a plurality of partial images. If the color obtained from each of the first composite image and the second composite image is acceptable, the determination unit F13 determines that the result of the color determination processing is acceptable (S25: Yes).
  • the determination unit F13 rejects the result of the color determination process (S25: No). In this case, the determination unit F13 repaints the object 100 (S26). In the repainting, the determination unit F13 determines the difference between the color obtained from the first composite image and the target color for the first composite image, and the color obtained from the second composite image and the target color for the second composite image. Control the painting system 40 according to the difference between That is, the determination unit F13 controls the coating system 40 that coats the surface of the object 100 based on the result of the color determination process. This allows the color of the surface of the object 100 to be close to the desired color. For example, FIG.
  • FIG. 11 shows the relationship between graphs G10 and G11 representing colors obtained from a composite image (a first composite image or a second composite image) and a graph G20 representing a target color corresponding to the composite image.
  • G10 represents the color before repainting
  • G11 represents the color after repainting.
  • the inspection system 1 can correct the color of the surface of the object 100.
  • the painting process is a process of painting (also referred to as painting) the object 100.
  • the painting process will be described below with reference to the flowchart of FIG. 12 and FIGS. 13 and 14. 13 and 14 show one scene of the painting process.
  • the determination unit F13 determines a painting place (coating place) on the surface of the object 100 (S31).
  • the painting system 40 includes the two painting robots 41 and 42, two painting locations can be simultaneously selected from the surface of the object 100.
  • Examples of the painting site include a bonnet, a roof, a front door, a rear door, a front bumper, a rear bumper, a fender, a rear fender, a trunk cover and the like.
  • the determination unit F13 determines the application position using the imaging system 30.
  • the determination unit F13 monitors the entire surface of the object 100 with the second camera 32, and recognizes the unpainted place (unpainted place) on the surface of the object 100.
  • the determination unit F13 selects the next painted place from unpainted places on the surface of the object 100.
  • the determination unit F13 performs a pre-painting inspection (S32).
  • the determination unit F13 determines whether or not foreign matter is present in the painted place before painting in the painted place.
  • the determination unit F13 controls the imaging system 30, captures an image of a painting location using one of the plurality of first cameras 31 (the first camera 312 in FIG. 13), and acquires the image through the acquisition unit F11.
  • the determination unit F13 detects foreign matter from the image of the painting site obtained by the acquisition unit F11 by an image processing technique.
  • the state of the painting site (color tone, unevenness information) is also determined.
  • the state of the painting site is reflected in the level of painting (coating level) by the painting system 40.
  • the discharge amount (spray amount, spray concentration) of the paint is determined in accordance with the level of the paint (painting level).
  • judgment part F13 will start painting (painting) of a paint place (S34).
  • the determination unit F13 controls the painting system 40 as shown in FIG. 13 and performs painting at the painting site (bonnet and right rear fender in FIG. 13) using the painting robots 41 and 42. . Furthermore, the determination unit F13 determines the state of the place being coated on the surface of the object 100.
  • the determination unit F13 controls the imaging system 30 to acquire an image of a painted place. In FIG. 13, the first cameras 311 and 314 are used to acquire an image of a painted place.
  • the determination unit F13 determines the painted state of the surface (the current surface) obtained from the image of the surface of the object 100 acquired by the acquiring unit F11 (that is, the image of the painted place) and the intended coated state of the surface of the object 100 Find the difference with.
  • the determination unit F13 controls the coating system 40 so that the difference is reduced. As an example, the determination unit F13 adjusts the spray concentration (injection amount) from the painting robots 41 and 42. In the paint determination process, the determination unit F13 determines the insufficient application (for example, color tone and uniformity) of the paint area. In the paint determination process, as in the color determination process, the color of the surface of the object 100 is determined based on a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different from each other. You may
  • the determination unit F13 When the painting is completed, the determination unit F13 performs a post-painting inspection (S35). In the inspection after painting, the determination unit F13 determines the state after painting.
  • the state after coating includes the presence or absence of dripping of the paint, the presence or absence of drying, and the continuity with the place where the paint has been applied (continuity of color tone and surface condition). In the present embodiment, it is determined whether or not the paint drips at the painting site.
  • the determination unit F13 controls the imaging system 30, and uses one of the plurality of first cameras 31 (the first camera 313 in FIG. 13) to capture an image of the painting place where the painting is finished, and an acquisition unit F11 Get through. The dripping of the paint is detected from the image of the painted place obtained by the acquisition unit F11.
  • the determination unit F13 determines the painted state of the surface (the current surface) obtained from the image of the surface of the object 100 acquired by the acquiring unit F11 (that is, the image of the painted place) and the intended coated state of the surface of the object 100 Find the difference with. From the entire image of the surface of the object 100 taken by the second camera 32 as the target painting state (comparison image of the judgment of the dripping of the paint) of the surface of the object 100, the part coated with the paint uniformly It may be used. When the difference exceeds the threshold (first threshold), the determination unit F13 may determine that the paint drips.
  • the threshold first threshold
  • the determination unit F13 determines whether there is an unpainted place based on the entire image of the surface of the object 100 captured by the second camera 32 It is determined whether or not (S371). If there is an unpainted place (S371: Yes), the determination unit F13 determines the next paint place (S31). On the other hand, if there is no unpainted place (S371: No), the determination unit F13 executes the final inspection (S372). In the final inspection, the determination unit F13 may perform a color determination process to inspect the entire color of the surface of the object 100.
  • the determination unit F13 determines the degree of the dripping of the paint (S381). More specifically, the determination unit F13 determines whether the degree of dripping of the paint is severe. Whether the degree of dripping of the paint is severe may depend on whether the dripping of the paint can be corrected by repainting. As an example, when the difference between the image of the painting site obtained by the acquisition unit F11 and the comparison image exceeds a second threshold larger than the first threshold, the determination unit F13 determines that the dripping of the paint is severe. You may The first threshold and the second threshold may coincide with each other.
  • the determination unit F13 When the dripping of the paint is detected, the determination unit F13 relates the feature amount of the dripping image of the paint to the discharge amount of the paint, room temperature, humidity, ventilation flow rate, etc. by statistical analysis or machine learning, and drips the paint. Generation of recurrence prevention information.
  • the determination unit F 13 executes repainting (repainting) (S 382).
  • the determination unit F13 controls the paint system 40 to repaint the paint place where the dripping of the paint is detected.
  • FIG. 14 shows the painting robot 42 imaging the trunk cover with the first camera 314 in order to repaint the trunk cover. Then, when the re-painting is completed, the determination unit F13 again performs a post-painting inspection (S35).
  • the painting process includes a painting determination process (S34, S35).
  • the painting determination process is a process of determining the painting state of the surface of the object 100. More specifically, the painting determination process is a process of determining the painting state of the surface of the object 100 based on the image of the surface of the object 100 acquired by the acquiring unit F11.
  • the determination unit F13 obtains the difference between the painted state of the surface obtained from the image of the surface of the object 100 acquired by the acquiring unit F11 and the intended coated state of the surface of the object 100.
  • the determination unit F13 controls the operation states of the plurality of cameras 31 and 32 of the imaging system 30 according to the result of the paint determination process.
  • the determination unit F ⁇ b> 13 controls the operation states of the plurality of cameras 31 and 32 of the imaging system 30 in accordance with the progress of the painting of the object 100.
  • the plurality of cameras 31 and 32 generate one or more first cameras 31 that generate an image of a part of the surface of the object 100, and a second camera 32 that generates an entire image of the surface of the object 100.
  • the determination unit F13 controls the operation state of the one or more first cameras 31 in accordance with the result of the paint determination process. Further, the determination unit F13 controls the operation state of the one or more first cameras 31 in accordance with the image captured by the second camera 32 and the result of the coating determination process.
  • the determination unit F ⁇ b> 13 controls the plurality of cameras 31 and 32 of the imaging system 30 and executes the entire painting of the object 100.
  • the inspection system 1 includes the first camera (local camera) 31 for photographing the local area where the paint is applied on the object 100 and the second camera for capturing the entire painted state of the object 100. ( ⁇ camera) 32 is interlocked. Therefore, the inspection system 1 of the present embodiment can perform sensing without overlooking the painted state of the object 100.
  • the texture determination process is a process of determining the texture of the surface of the object 100.
  • the texture determination processing is performed based on changes in luminance information among a plurality of series images of a plurality of series images obtained by imaging the surface of the object 100 from different places L1 to L3 (see FIG. 16). It is a process of determining the texture of the surface.
  • the change of the luminance information is defined by a feature amount vector (a space feature amount vector and a time feature amount vector).
  • FIG. 16 shows the positional relationship between the second camera 32 and the object 100. Note that the first camera 31 can be used instead of the second camera 32.
  • the determination unit F13 acquires a plurality of sequential images obtained by imaging the surface of the object 100 from different places L1 to L3 (see FIG. 16) by the acquisition unit F11 (S41). At least two of the plurality of sequence images are obtained by imaging the surface of the object 100 while changing the position of the same camera 32. More specifically, as shown in FIG. 16, a plurality of sequence images can be obtained by taking an image of the surface of the object 100 with the camera 32 at different places L1, L2, L3,. The places L1, L2, L3... Are, for example, arranged to surround the object 100, and are on a circle centered on the object 100. A plurality of sequence images can also be obtained by a plurality of cameras installed at different places L1, L2, L3. Hereinafter, two series images (a first series image and a second series image) of a plurality of series images will be described. The first sequence image is an image captured before the second sequence image.
  • the determination unit F13 calculates the difference in luminance value between pixels (space feature amount vector) (S42).
  • the determination unit F13 extracts luminance information from the sequence image.
  • the luminance information is a difference of luminance values (pixel values) obtained from a plurality of pixels of the sequence image.
  • the difference between the luminance values is the luminance value of the first area including one or more of the plurality of pixels of the series image and the luminance value of the second area adjacent to the first area and including one or more of the plurality of pixels. It is a difference.
  • the first area may be an area consisting of m ⁇ n pixels.
  • m and n are both integers of 1 or more.
  • the first region is a region composed of 1 ⁇ 1 pixels (that is, one pixel).
  • the pixel at the center of the first region is referred to as a first pixel (reference pixel).
  • the first area is the brightest area in the sequential image (image composed of a plurality of pixels). Since the first region is only the first pixel, the first pixel is the pixel with the highest luminance value among the plurality of luminance values of the sequence image.
  • the second area may be an area surrounding the first area.
  • the second region may be a region consisting of M ⁇ N pixels centered on the first region.
  • M and N are both integers of 3 or more.
  • the second region is configured of pixels excluding the first pixel among the plurality of pixels of the sequence image. That is, the determination unit F13 obtains the difference between the luminance value of the first pixel and the luminance value of each pixel in the sequential image, and replaces the luminance value of each pixel with the difference value. Then, the determination unit F13 obtains a feature amount vector (spatial feature amount vector) having the brightness value of the first pixel and the brightness values (difference values) after replacement of the plurality of pixels of the sequence image as elements.
  • the first pixel is not limited to the pixel having the largest luminance value, but may be a pixel having the smallest luminance value, a pixel having an average value of the image, or a pixel at the center of the image. .
  • the determination unit F13 calculates the difference in luminance value between frames (time feature vector) (S43).
  • the determination unit F13 sets the luminance value of the first attention area including one or more of the plurality of pixels of the first sequence image and the second attention area corresponding to the first attention area of the plurality of pixels of the second series image. It is the difference from the luminance value. That is, the first attention area and the second attention area are selected to correspond to the same part of the surface of the object 100.
  • the first attention area is an area smaller than the first series image.
  • the first attention area may be an area composed of m ⁇ n pixels.
  • m and n are both integers of 1 or more.
  • the pixel at the center of the first attention area may be either a pixel with the largest luminance value, a pixel with the smallest luminance value, or a pixel whose luminance value is the average value of the image.
  • the pixel at the center of the first attention area is a pixel whose luminance value is the average value of the image.
  • the second region of interest is a region (a region consisting of m ⁇ n pixels) of the same size as the first region of interest.
  • the pixel at the center of the second region of interest is the pixel with the smallest difference in luminance value from the pixel at the center of the first region of interest, and preferably has the same luminance value.
  • the determination unit F13 obtains the difference between the luminance values of the first series image (first attention area) and the second series image (second attention area), and determines the luminance value of the second series image (second attention area). Replace with difference value. That is, the determination unit F13 obtains a difference between the luminance value of the pixel included in the first attention area of the first sequence image and the luminance value of the pixel included in the second attention area of the second sequence image. Thereby, the difference value of the luminance value is obtained for the m ⁇ n pixels. Then, the determination unit F13 obtains a feature amount vector (temporal feature amount vector) having the luminance value of the pixel at the center of the first attention area and the pixel value (difference value) after replacement of the second sequence image as elements.
  • a feature amount vector temporary feature amount vector
  • the determination unit F13 calculates the texture (the amount of texture) (S44).
  • the texture is given by the combination of the spatial feature vector and the temporal feature vector.
  • the texture of the surface of the object 100 is digitized in the form of a combination of a spatial feature vector and a temporal feature vector.
  • the determination unit F13 may numerically determine whether the texture satisfies the request. For example, the determination unit F13 may determine whether the texture satisfies the request depending on whether the magnitude of the vector indicating the texture exceeds a threshold. When the texture satisfies the request, the determination unit F13 may determine that the inspection of the texture is a pass. When the texture does not have a request, the determination unit F13 may perform repainting or defective product determination.
  • the amount of change in luminance value associated with the relative displacement between the camera 32 and the object 100 is calculated and integrated on the space axis and the time axis.
  • the change amount (spatial change amount) of the luminance value of the spatial axis is given by the difference between the luminance value of the reference pixel and the luminance value of the adjacent pixel.
  • Examples of reference pixels include the brightest pixel, the darkest pixel, a pixel of average brightness, and an image center pixel.
  • the amount of change (temporal change) of the luminance value on the time axis is given by the difference between the reference frame and the adjacent frame. Therefore, in the present embodiment, it is possible to measure and digitize the texture of the surface of the object 100 (particularly, the painted surface) (cognition of the surface condition felt by humans).
  • the inspection system 1 described above includes an acquisition unit F11 and a determination unit F13.
  • the acquisition unit F11 acquires an image of the surface of the object 100.
  • the determination unit F13 performs color determination processing.
  • the color determination process is performed based on a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different from each other on the surface of the object 100 obtained from the image of the surface of the object 100 acquired by the acquisition unit F11. This is a process of determining the color of the surface of the object 100. Therefore, according to the inspection system 1, the accuracy of the determination of the color of the surface of the object 100 can be improved.
  • the inspection method includes an acquisition step and a determination step.
  • the acquisition step is a step of acquiring an image of the surface of the object 100.
  • the determination step is a step of performing color determination processing.
  • the color determination process is performed based on a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different from each other on the surface of the object 100 obtained from the image of the surface of the object 100 acquired by the acquisition unit F11. This is processing to determine the color of the surface of the object 100. Therefore, according to the inspection method, as in the inspection system 1, the accuracy of the determination of the color of the surface of the object 100 can be improved.
  • the inspection method is realized by one or more processors executing a program (computer program).
  • This program is a program for causing one or more processors to execute an inspection method. According to such a program, as in the inspection method, the accuracy of the determination of the color of the surface of the object 100 can be improved.
  • a program may be provided by a storage medium.
  • This storage medium is a non-transitory computer readable storage medium storing the above program. According to such a storage medium, the accuracy of determination of the color of the surface of the object 100 can be improved, as in the inspection method.
  • the inspection system 1 includes an imaging system 30, an acquisition unit F11, and a determination unit F13.
  • the imaging system 30 images the surface of the object 100 to generate an image of the surface of the object 100.
  • the acquisition unit F11 acquires an image of the surface of the object 100 from the imaging system 30.
  • the determination unit F13 performs a coating determination process of determining the coating state of the surface of the object 100 based on the image of the surface of the object 100 acquired by the acquisition unit F11, and the imaging system according to the result of the coating determination process Control 30 According to this inspection system 1, the quality of the coating on the surface of the object 100 can be improved.
  • the inspection system 1 includes an acquisition unit F11 and a determination unit F13.
  • the acquisition unit F11 acquires a plurality of sequential images obtained by imaging the surface of the object 100 from different places L1 to L3.
  • the determination unit F13 performs a texture determination process of determining the texture of the surface of the object 100 based on the change in luminance information among the plurality of sequential images. According to this aspect, it is possible to further improve the accuracy of the determination of the texture of the surface of the object (100).
  • Embodiments of the present disclosure are not limited to the above embodiments.
  • the above embodiment can be variously modified according to the design and the like as long as the object of the present disclosure can be achieved.
  • the modification of the said embodiment is enumerated.
  • the camera of the imaging system 30 can detect light whose wavelength is included in a predetermined band, as an example.
  • the predetermined band is, for example, 380 nm to 780 nm.
  • the plurality of cameras of the imaging system 30 may have filters with different transmission bands.
  • the four first cameras 311-314 may be configured to detect light of wavelengths in different bands.
  • light of wavelengths in different bands is light of 380 nm to 480 nm (blue light), light of 480 nm to 580 nm (green light) light of 580 nm to 680 nm (yellow light), and 680 nm to There is 780 nm light (red light).
  • each of the four bands is divided into nine bands of 10 nm, and the band of 380 nm to 780 nm is divided into 36 and detected. Therefore, it is possible to determine the level of the color of the object 100 at a finer level as compared to the relatively commonly used three-band configuration. Note that the same effect can be obtained even if one camera uses a plurality of filters with different transmission bands.
  • the wavelength of light emitted by the illumination system 20 may be variable. This can be realized using light sources with different luminescent colors or color filters. In the inspection system 1, at least one of the wavelength of the light emitted by the illumination system 20 and the wavelength of the light detected by the imaging system 3 may be changeable.
  • the plurality of partial images P31 to P34 are generated by the plurality of cameras 31 having different imaging directions regarding the object 100.
  • the plurality of partial images P31 to P34 may be obtained by imaging the surface of the object 100 while changing the position of the same camera.
  • a plurality of reflection states in which the ratio of the specular reflection component to the diffuse reflection component is different on the surface of the object 100 are in the form of an image, but they are other forms such as a histogram instead of an image. You may That is, the reflection state of the surface of the object 100 does not necessarily have to be given as an image, and may be in a form that allows the color to be determined by the reflection state.
  • the setting process is not essential.
  • sample data may be prepared for each of the images generated by the plurality of cameras 31, and the color determination process may be performed. This makes it possible to perform color determination processing separately for different portions of the surface of the object 100 with a plurality of cameras 31. In this case, no image combination is performed in the color determination process.
  • the determination unit F13 determines the difference between the color obtained from the first composite image and the target color for the first composite image, and the color obtained from the second composite image and the second composite image.
  • the coating system 40 is controlled in accordance with the target color difference.
  • the determination unit F13 may control the painting system 40 using a learned model (color matching model).
  • the toning model is a learned model in which the relationship between the combination of the color before correction and the color after correction and the control content of the painting system 40 is learned.
  • the storage unit 12 stores the toning model.
  • the toning model is a program for learning artificial intelligence (algorithm) that shows the relationship between the combination of the color before correction and the color after correction and the control content of the painting system 40, and the color and correction before correction are It is generated by learning the relationship between the combination with the later color and the control content of the painting system 40.
  • the artificial intelligence program is a machine learning model, and for example, a neural network, which is a type of hierarchical model, is used.
  • the toning model is generated by causing the neural network to perform machine learning (for example, deep learning) with the learning data set. That is, the toning model may be generated by the processing unit 13 of the inspection system 1 or an external system.
  • the processing unit 13 may collect and accumulate learning data for generating a toning model.
  • the learning data newly collected by the processing unit 13 can be used for re-learning of the toning model, whereby the performance of the toning model (learned model) can be improved.
  • the re-learning can improve the performance of the toning model.
  • the determination unit F13 may use a model for the texture determination process.
  • the model is obtained by preparing a plurality of paint samples, creating a paint quality judgment and texture amount pair, and modeling the relationship between the two. Modeling may be performed by regression analysis or machine learning.
  • the determination unit F13 can execute the quality determination of the coating based on the amount of texture.
  • it may be used for texture measurement when the positional relationship between the camera 32 and the object 100 is fixed as the texture amount using only the space feature quantity vector.
  • the luminance information may be a difference of luminance values obtained from a plurality of pixels of the sequence image. This difference may be the difference between the luminance value of the first region including one or more of the plurality of pixels and the luminance value of the second region adjacent to the first region and including one or more of the plurality of pixels. .
  • the first region may be the first pixel of the plurality of pixels.
  • the second region may be a second pixel adjacent to the first pixel among the plurality of pixels.
  • the first area may be the brightest area in an image composed of a plurality of pixels.
  • inspection system 1 may be configured by a plurality of computers.
  • the functions of the inspection system 1 (determination system 10) in particular, the acquisition unit F11, the separation unit F12, and the determination unit F13) may be distributed to a plurality of devices.
  • at least a part of the functions of the inspection system 1 (determination system 10) may be realized by, for example, cloud (cloud computing).
  • the execution subject of the inspection system 1 (determination system 10) described above includes a computer system.
  • a computer system has a processor and memory as hardware.
  • the processor executes the program recorded in the memory of the computer system to implement a function as an execution subject of the inspection system 1 (determination system 10) in the present disclosure.
  • the program may be pre-recorded in the memory of the computer system, but may be provided through a telecommunication line. Also, the program may be provided by being recorded in a non-transitory recording medium such as a memory card readable by a computer system, an optical disk, a hard disk drive and the like.
  • a processor of a computer system is configured of one or more electronic circuits including a semiconductor integrated circuit (IC) or a large scale integrated circuit (LSI).
  • FGPA Field programmable gate array
  • ASIC application specific integrated circuit
  • reconfiguration of the junction relation inside the LSI or reconfiguration possible to set up the circuit section inside the LSI programmed after LSI fabrication Logical devices can also be used for the same purpose.
  • the plurality of electronic circuits may be integrated into one chip or may be distributed to a plurality of chips.
  • the plurality of chips may be integrated into one device or may be distributed to a plurality of devices.
  • a first aspect is an inspection system (1), which includes an acquisition unit (F11) and a determination unit (F13).
  • the acquisition unit (F11) acquires images (P30 to P34) of the surface of the object (100).
  • the determination unit (F13) performs color determination processing.
  • the color determination process is performed on the surface of the object (100) obtained from the images (P30 to P34) of the surface of the object 100 acquired by the acquisition unit (F11), of the specular reflection component and the diffuse reflection component.
  • This is a process of determining the color of the surface of the object (100) based on a plurality of reflection states having different ratios. According to this aspect, it is possible to improve the accuracy of the determination of the color of the surface of the object (100).
  • the second aspect is based on the inspection system (1) of the first aspect.
  • the inspection system (1) further includes a separation unit (F12).
  • the separation unit (F12) represents images (P30 to P34) of the surface of the object (100) from the image acquired by the acquisition unit (F11), but the ratio of the specular reflection component to the diffuse reflection component Acquire a plurality of separated images (P10, P20) different from each other.
  • the determination unit (F13) determines the color of the surface of the object (100) based on the plurality of separated images (P10, P20) in the color determination process. According to this aspect, the accuracy of the determination of the color of the surface of the object (100) can be further improved. In addition, the efficiency of the color determination process can be improved.
  • the third aspect is based on the inspection system (1) of the first or second aspect.
  • the acquisition unit (F11) acquires a plurality of partial images (P31 to P34) representing a part of the surface of the object (100) as the image of the surface of the object (100).
  • the determination unit (F13) is based on an image (P10, P20) representing the entire surface of the object (100) in each of the plurality of reflection states obtained from the plurality of partial images in the color determination process. To determine the color of the surface of the object (100). According to this aspect, it is possible to determine the color of the surface of the relatively large object (100).
  • the fourth aspect is based on the inspection system (1) of the third aspect.
  • the plurality of partial images (P31 to P34) are generated by a plurality of cameras (31) having different imaging directions with respect to the object (100).
  • the simple configuration enables determination of the color of the surface of the relatively large object (100).
  • the fifth aspect is based on the inspection system (1) of any one of the first to fourth aspects.
  • the inspection system (1) further comprises an illumination system (20) and an imaging system (30).
  • the illumination system (20) illuminates the surface of the object (100).
  • the imaging system (30) images the surface of the object (100) illuminated by the illumination system (20) to generate an image of the surface of the object (100).
  • the acquisition unit (F11) acquires an image of the surface of the object (100) from the imaging system (30). At least one of the wavelength of light emitted by the illumination system (20) and the wavelength of light detected by the imaging system (30) can be varied. According to this aspect, it is possible to improve the accuracy of the determination of the color of the surface of the object (100).
  • the sixth aspect is based on the inspection system (1) of any one of the first to fifth aspects.
  • the determination unit (F13) uses sample data including information on a target color of the surface of the object (100) to obtain the object (100). Determine the color of the surface. According to this aspect, the accuracy of the determination of the color of the surface of the object (100) can be further improved.
  • the seventh aspect is based on the inspection system (1) of the sixth aspect.
  • the sample data includes at least one of the shape of the object (100) and the imaging condition of the object (100). According to this aspect, the accuracy of the determination of the color of the surface of the object (100) can be further improved.
  • the eighth aspect is based on the inspection system (1) according to any one of the first to seventh aspects.
  • the determination unit (F13) controls a coating system (40) for painting the surface of the object (100) based on the result of the color determination process. According to this aspect, the quality of painting on the surface of the object (100) can be improved.
  • the ninth aspect is based on the inspection system (1) of the first aspect.
  • the inspection system (1) further includes an imaging system (30) for imaging the surface of the object (100) to generate an image of the surface of the object (100).
  • the acquisition unit (F11) acquires an image of the surface of the object (100) from the imaging system (30).
  • the determination unit (F13) determines the painting state of the surface of the object (100) based on the image of the surface of the object (100) acquired by the acquisition unit (F11). And control the imaging system (30) according to the result of the painting determination process. According to this aspect, the quality of painting on the surface of the object (100) can be improved.
  • a tenth aspect is based on the inspection system (1) of the ninth aspect.
  • the determination unit (F13) determines the coated state of the surface obtained from the image of the surface of the object (100) acquired by the acquisition unit (F11) Find the difference from the desired painted state of the surface of the object (100). According to this aspect, the quality of painting on the surface of the object (100) can be improved.
  • an eleventh aspect is based on the inspection system (1) of the ninth or tenth aspect.
  • the imaging system (30) includes a plurality of cameras (31, 32).
  • the determination unit (F13) controls the operation state of the plurality of cameras (31, 32) of the imaging system (30) according to the result of the coating determination process. According to this aspect, the quality of painting on the surface of the object (100) can be improved.
  • the twelfth aspect is based on the inspection system (1) of the eleventh aspect.
  • the plurality of cameras (31, 32) generate one or more first cameras (31) for generating an image of a part of the surface of the object (100); and the object (100) And a second camera (32) for generating an image of the entire surface of the camera.
  • the determination unit (F13) controls the operation state of the one or more first cameras (31) according to the result of the coating determination process. According to this aspect, the quality of painting on the surface of the object (100) can be improved.
  • the thirteenth aspect is based on the inspection system (1) of the twelfth aspect.
  • the determination unit (F13) determines the operation state of the one or more first cameras (31) according to the image captured by the second camera (32) and the result of the coating determination process. Control. According to this aspect, the quality of painting on the surface of the object (100) can be improved.
  • a fourteenth aspect is based on the inspection system (1) of the first aspect.
  • the acquisition unit (F11) acquires a plurality of sequential images obtained by imaging the surface of the object (100) from different places (L1 to L3).
  • the determination unit (F13) performs a texture determination process of determining the texture of the surface of the object (100) based on a change in luminance information among the plurality of sequential images. According to this aspect, it is possible to further improve the accuracy of the determination of the texture of the surface of the object (100).
  • the fifteenth aspect is based on the inspection system (1) of the fourteenth aspect.
  • at least two of the plurality of sequence images are obtained by imaging the surface of the object (100) while changing the position of the same camera. According to this aspect, it is possible to further improve the accuracy of the determination of the texture of the surface of the object (100).
  • each of the plurality of sequential images includes a plurality of pixels.
  • the luminance information includes a difference of luminance values obtained from the plurality of pixels. According to this aspect, it is possible to further improve the accuracy of the determination of the texture of the surface of the object (100).
  • the seventeenth aspect is based on the inspection system (1) of the sixteenth aspect.
  • the difference is a luminance value of a first area including one or more of the plurality of pixels, and a second area adjacent to the first area and including one or more of the plurality of pixels. It is the difference from the luminance value. According to this aspect, it is possible to further improve the accuracy of the determination of the texture of the surface of the object (100).
  • An eighteenth aspect is based on the inspection system (1) of the seventeenth aspect.
  • the first region is a first pixel of the plurality of pixels.
  • the second region is a second pixel adjacent to the first pixel among the plurality of pixels. According to this aspect, it is possible to further improve the accuracy of the determination of the texture of the surface of the object (100).
  • a nineteenth aspect is based on the inspection system (1) of the seventeenth or eighteenth aspect.
  • the first area is the brightest area in an image formed by the plurality of pixels. According to this aspect, it is possible to further improve the accuracy of the determination of the texture of the surface of the object (100).
  • a twentieth aspect is an inspection method, including an acquisition step and a determination step.
  • the acquisition step is a step of acquiring images (P30 to P34) of the surface of the object (100).
  • the determination step is a step of performing a color determination process.
  • the color determination process is performed on the surface of the object (100) obtained from the images (P30 to P34) of the surface of the object 100 acquired by the acquisition unit (F11), of the specular reflection component and the diffuse reflection component.
  • This is a process of determining the color of the surface of the object (100) based on a plurality of reflection states having different ratios. According to this aspect, it is possible to improve the accuracy of the determination of the color of the surface of the object (100).
  • the inspection system (1) of the second to nineteenth aspects may be read as the inspection method.
  • a twenty-first aspect is a program for making one or more processors execute the inspection method of the twentieth aspect. According to this aspect, it is possible to improve the accuracy of the determination of the color of the surface of the object (100).
  • a twenty-second aspect is a non-transitory computer readable storage medium storing the program of the twenty-second aspect. According to this aspect, it is possible to improve the accuracy of the determination of the color of the surface of the object (100).
  • the present disclosure includes the following twenty-third to thirty-fourth aspects.
  • a twenty-third aspect is a coloring inspection apparatus, comprising a camera capable of replacing a filter that transmits light in a specific band, and inspecting a color of an object to be photographed using an image photographed by the camera.
  • a twenty-fourth aspect is based on the coloring inspection device of the twenty-third aspect.
  • the coloring inspection apparatus includes a plurality of the cameras, combines images of the plurality of cameras to create a composite image, and calculates and outputs imaging conditions from the composite image.
  • a twenty-fifth aspect is based on the coloring inspection device of the twenty-fourth aspect.
  • the filters provided in the plurality of cameras have different transmission bands from one another.
  • a twenty-sixth aspect is based on the coloring inspection device of the twenty-fourth or twenty-fifth aspect.
  • the plurality of cameras shoot the shooting target from different directions.
  • a twenty-seventh aspect is based on the coloring inspection device according to any one of the twenty-fourth to twenty-sixth aspects.
  • the coloring inspection device controls an angle of view and zooming of the camera such that continuity of gradation of the imaging target is maintained from the composite image.
  • a twenty-eighth aspect is based on the coloring inspection device of the twenty-seventh aspect.
  • the coloring inspection device controls the camera using shape information and illumination information of an object to be photographed.
  • a twenty-ninth aspect is based on the coloring inspection device according to any one of the twenty-third to twenty-ninth aspects.
  • the coloring inspection device records color data as a sample, compares a color of the shooting target with color data as the sample, and controls a coating unit that coats the shooting target.
  • a thirty-fifth aspect relates to a coloring inspection method, in which a camera provided with a plurality of filters having different transmission bands shoots an object to be photographed from mutually different directions, and images of the plurality of cameras are synthesized to create a synthesized image. And examining the color of the subject from the composite image.
  • a thirty-first aspect is based on the coloring inspection method of the twentieth aspect.
  • the coloring inspection method outputs an imaging condition from the composite image.
  • a thirty-second aspect is based on the coloring inspection method of the thirtieth or thirty-first aspect.
  • the coloring inspection method controls an angle of view and zooming of the camera such that continuity of gradation of the imaging target is maintained from the composite image.
  • a thirty-third aspect is based on the coloring inspection device of the thirty-first aspect.
  • the coloring inspection device controls the camera using shape information and illumination information of an object to be photographed.
  • a thirty-fourth aspect is based on the coloring inspection device according to any one of the thirty-third to the thirty-third aspects.
  • the coloring inspection apparatus records color data as a sample, compares a color of the shooting target with color data as the sample, and controls a coating unit that coats the shooting target.
  • the present disclosure includes the following thirty-fifth to thirty-seventh embodiments.
  • a thirty-fifth aspect is a system, wherein: a paint information acquiring unit (meaning of a camera group) for acquiring information on a paint state at a certain point in time; and a reference information holding reference information indicating a state of the paint state at that point
  • the information storage unit, the coating information acquisition unit, and the control unit connected to the reference information storage unit, the control unit is information obtained from the coating information acquisition unit, and information obtained from the reference information storage unit
  • a control command is transmitted to the painting information acquisition unit (meaning of a camera group) based on the difference.
  • a thirty-sixth aspect is based on the system of the thirty-fifth aspect.
  • the control command changes the operation state (meaning of pan, zoom) of the camera included in the painting information acquisition unit (meaning of a camera group).
  • a thirty-seventh aspect is based on the system of the thirty-sixth aspect.
  • the painting information acquisition unit in the sense of a camera group
  • the control command changes the operating state (in the meaning of pan and zoom) of the local camera Do.
  • the present disclosure includes the following thirty-eighth to forty-first aspects.
  • a thirty-eighth aspect is a photographing method, wherein a step of relatively displacing a photographing device with respect to an object, and a change in luminance value information included in information obtained by photographing the object before and after the displacement are obtained. And step.
  • a thirty-ninth aspect is based on the imaging method of the thirty-eighth aspect.
  • the information acquired by the imaging device before the displacement is defined as image information
  • the image information includes a plurality of pixels
  • the imaging method is performed between the plurality of pixels before and after the displacement Acquire the change of the difference of the luminance value.
  • a fortieth aspect is based on the imaging method of the thirty-ninth aspect.
  • the difference is a difference between a luminance value of a first pixel of the image information and a luminance value of a second pixel adjacent to the first pixel.
  • a forty-first aspect is based on the imaging method of the fortieth aspect.
  • the first pixel is a pixel having the highest luminance value in the image information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

課題は、対象物の表面の色の判定の精度を向上できる、検査システム、検査方法、プログラム、及び、記憶媒体を提供することである。検査システム（１）は、取得部（Ｆ１１）と、判定部（Ｆ１３）とを備える。取得部（Ｆ１１）は、対象物（１００）の表面の画像を取得する。判定部（Ｆ１３）は、色判定処理を行う。色判定処理は、取得部（Ｆ１１）で取得された対象物（１００）の表面の画像から得られる、対象物（１００）の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物（１００）の表面の色を判定する処理である。

Description

検査システム、検査方法、プログラム、及び、記憶媒体
　本開示は、検査システム、検査方法、プログラム、及び、記憶媒体に関する。特に、本開示は、画像により対象物の表面に関する判定を行う検査システム、検査方法、プログラム、及び、記憶媒体に関する。
　特許文献１は、着色検査装置を開示する。特許文献１の着色検査装置は、ＣＩＥＸＹＺ等色関数と等価に線形変換された三つの分光感度を有するカメラと、カメラが取得した三つの分光感度を有する画像をＣＩＥＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚに変換した着色データを取得し演算する演算処理装置と、測定対象物の一例である自動車を照射する照明部と、を備え、検査物と基準物の２つのｘｙz色度ヒストグラム分布の重なり合った割合を示す色分布一致指数を演算することにより、色を検査する。
特開２０１５－１５５８９２号公報
　課題は、対象物の表面の色の判定の精度を向上できる、検査システム、検査方法、プログラム、及び、記憶媒体を提供することである。
　本開示の一態様の検査システムは、取得部と、判定部とを備える。前記取得部は、対象物の表面の画像を取得する。前記判定部は、色判定処理を行う。前記色判定処理は、前記取得部で取得された前記対象物の表面の画像から得られる、前記対象物の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、前記対象物の表面の色を判定する処理である。
　本開示の一態様の検査方法は、取得ステップと、判定ステップとを含む。前記取得ステップは、対象物の表面の画像を取得するステップである。前記判定ステップは、色判定処理を行うステップである。前記色判定処理は、前記対象物の表面の画像から得られる、前記対象物の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、前記対象物の表面の色を判定する処理である。
　本開示の一態様のプログラムは、１以上のプロセッサに、上記検査方法を実行させるための、プログラムである。
　本開示の一態様の記憶媒体は、コンピュータで読み取り可能な非一時的な記憶媒体であって、上記プログラムを記憶している。
図１は、一実施形態の検査システムのブロック図である。 図２は、上記検査システムの説明図である。 図３は、上記検査システムの設定処理のフローチャートである。 図４は、上記検査システムの色判定処理のフローチャートである。 図５は、第１分離画像の説明図である。 図６は、第２分離画像の説明図である。 図７は、上記検査システムの分離処理の説明図である。 図８は、上記検査システムの別の分離処理の説明図である。 図９は、上記検査システムの合成処理の説明図である。 図１０は、上記検査システムの合成処理の別の説明図である。 図１１は、上記検査システムの調色処理の説明図である。 図１２は、上記検査システムの塗装判定処理を含む塗装処理のフローチャートである。 図１３は、上記検査システムの塗装処理の説明図である。 図１４は、上記検査システムの塗装処理の別の説明図である。 図１５は、上記検査システムの質感判定処理のフローチャートである。 図１６は、上記検査システムの質感判定処理の説明図である。 図１７は、撮像システムの説明図である。
１．実施形態
１．１　概要
　図１は、一実施形態の検査システム１を示す。本実施形態の検査システム１は、取得部Ｆ１１と、判定部Ｆ１３とを備える。取得部Ｆ１１は、対象物１００の表面の画像を取得する。判定部Ｆ１３は、色判定処理を行う。色判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定する処理である。
　検査システム１では、対象物１００の表面の色を、単一の観点ではなく、複数の観点から判定する。特に、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態を利用して、対象物１００の表面の色を判定する。鏡面反射成分には、拡散反射成分よりも対象物１００の表面の状態がよく反映され、拡散反射成分には、鏡面反射成分よりも対象物１００の表面の色自体がよく反映される。これによって、対象物１００の表面の色を、対象物１００の表面の色自体だけではなく、対象物１００の表面の状態を加味して判定できる。その結果、検査システム１によれば、対象物１００の表面の色の判定の精度を向上できる。
１．２　詳細
　以下、検査システム１について図面を参照して更に詳細に説明する。検査システム１は、対象物１００の検査のためのシステムである。検査システム１は、着色検査装置としての機能を有する。本実施形態において、検査システム１による検査は、対象物１００の表面の色、塗装状態、及び、質感を対象とする。また、検査システム１は、対象物１００の塗装も可能である。検査システム１は、検査の結果に応じて対象物１００を塗装することができ、これによって、所望の塗装がされた対象物１００が得られる。
　対象物１００は、表面を有する物体であればよい。本実施形態では、対象物１００は、自動車である。特に、対象物１００の表面は、自動車の車体の外面である。なお、対象物１００は自動車に限られない。例えば、対象物１００は、自動車以外の移動体であってよいし、移動体でなくてもよい。移動体の例としては、二輪車、電車、ドローン、航空機、建設機械、及び船舶が挙げられる。また、対象物１００は、電気機器や、食器、容器、家具、衣類、建材等であってもよい。要するに、対象物１００は、表面を有する物体であればよい。特に、対象物１００は、塗装される物体であれば、本実施形態の検査システム１を好適に利用できる。
　検査システム１は、図１に示すように、判定システム１０と、照明システム２０と、撮像システム３０と、塗装システム４０とを備える。
　照明システム２０は、対象物１００の表面に光を照射するためのシステムである。照明システム２０は、図２に示すように、対象物１００に光を照射する複数（図２では４つ）のランプ２１を含む。ランプ２１は、一例としては、ＬＥＤランプである。また、ランプ２１は、白色光を放射する。なお、照明システム２０において、ランプ２１の数は特に限定されず、ランプ２１の種類も、ＬＥＤ以外の光源であってよい。また、ランプ２１の発光色は白色に限定されない。ランプ２１の発光色は、対象物１００の色及び撮像システム３０で検出可能な色を考慮して適宜設定され得る。また、照明システム２０が放射する光の波長は変更可能であってよい。なお、本実施形態の検査システム１は、照明システム２０を含むが、照明システム２０がなくても対象物１００の色を判定できるのであれば、照明システム２０は省略し得る。
　撮像システム３０は、対象物１００の表面の画像（デジタル画像）を生成するためのシステムである。本実施形態では、撮像システム３０は、照明システム２０によって照らされている対象物１００の表面を撮像して対象物１００の表面の画像を生成する。撮像システム３０は、複数のカメラを含む。各カメラは、１以上のイメージセンサを備える。なお、カメラは１以上のラインセンサを備えてもよい。
　本実施形態では、撮像システム３０の複数のカメラは、図２に示すように、４つの（第１）カメラ３１（３１１～３１４）と、１つの（第２）カメラ３２とを含む。ここで、第１カメラ３１及び第２カメラ３２は、対象物１００に対して変位可能である。また、第２カメラ３２は、第１カメラ３１よりも画角が広く、対象物１００の全体の画像を生成可能であるとよい。一例として、第２カメラ３２は、対象物１００を俯瞰する位置にあり、対象物１００の俯瞰図を表す画像を生成する。
　塗装システム４０は、対象物１００の表面の塗装のためのシステムである。塗装システム４０は、図２に示すように、複数の塗装部（２つの塗装部４１，４２）を含む。本実施形態では、塗装部４１，４２は、いずれも塗装ロボットである。塗装部４１，４２は、対象物１００に対して変位可能である。塗装ロボットは、従来周知の構成であってよいから、詳細な説明は省略する。なお、塗装システム４０は、１以上の塗装部を含んでいればよく、塗装部の数も２に限定されない。
　判定システム１０は、図１に示すように、入出力部１１と、記憶部１２と、処理部１３とを備える。判定システム１０は、コンピュータシステムにより実現され得る。コンピュータシステムは、１以上のプロセッサ、１以上のコネクタ、１以上の通信機器、及び１以上のメモリ等を含み得る。
　入出力部１１は、照明システム２０、撮像システム３０及び塗装システム４０との間の情報の入出力を行う。本実施形態では、入出力部１１は、照明システム２０、撮像システム３０及び塗装システム４０に通信可能に接続される。入出力部１１は、１以上の入出力装置を含み、１以上の入出力インタフェースを利用する。
　記憶部１２は、処理部１３が利用する情報を記憶するために用いられる。記憶部１２は、１以上の記憶装置を含む。記憶装置は、例えば、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。記憶部１２は、色判定処理で用いられる、見本データを記憶する。見本データは、対象物１００の表面の目的の色の情報（つまり、見本となる色データ）を含む。対象物１００の表面の目的の色の情報は、一例として、波長毎の反射率の値で与えられる（図１１参照）。例えば、対象物１００の表面の目的の色の情報は、３８０ｎｍ～７８０ｎｍの波長の範囲の反射率の値で与えられる。つまり、見本データは、デジタル色見本としての側面を有する。また、見本データは、対象物１００の形状（撮影対象の形状情報）と対象物１００の撮像条件との少なくとも一方を含み得る。対象物１００の撮像条件は、対象物１００と照明システム２０と撮像システム３０との相対的な位置関係（つまりは、撮影対象物と照明とカメラの位置関係の情報）を含み得る。つまり、対象物１００の撮像条件は、照明システム２０による照明に関する情報（照明情報）を含み得る。一例として、見本データは、所定の撮像条件で撮像された対象物１００の表面の全体の画像であり得る。また、記憶部１２は、塗装判定処理で用いられる、基準情報を記憶する。基準情報は、対象物１００の表面の目的の塗装状態を表す。換言すれば、基準情報は、対象物１００の塗装状態のあるべき状態を示しているといえる。
　処理部１３は、例えば、１以上のプロセッサ（マイクロプロセッサ）により実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（コンピュータプログラム）を実行することで、処理部１３として機能する。１以上のプログラムは、１以上のメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
　処理部１３は、設定処理（図３参照）と、色判定処理（図４参照）と、塗装判定処理（図１２参照）と、質感判定処理（図１５参照）とを行う。処理部１３は、図１に示すように、取得部Ｆ１１と、分離部Ｆ１２と、判定部Ｆ１３とを有している。取得部Ｆ１１と、分離部Ｆ１２と、判定部Ｆ１３とは、実体のある構成を示しているわけではなく、処理部１３によって実現される機能を示している。
　取得部Ｆ１１は、対象物１００の表面の画像（図９及び図１０参照）を取得する。本実施形態では、取得部Ｆ１１は、撮像システム３０から対象物１００の表面の画像を取得する。つまり、取得部Ｆ１１は、入出力部１１を介して撮像システム３０から画像を受け取る。取得部Ｆ１１が撮像システム３０から取得する画像は、撮像システム３０の撮像条件によって、決まる。
　分離部Ｆ１２は、分離処理を実行する。分離処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態を得るための処理である。分離部Ｆ１２は、分離処理では、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態を表す画像として、取得部Ｆ１１で取得された画像から、複数の分離画像を取得する。複数の分離画像は、それぞれ対象物１００の表面の画像を表すが、鏡面反射成分と拡散反射成分の比率が互いに異なる画像である。本実施形態では、複数の分離画像は、第１分離画像Ｐ１０（図５参照）と第２分離画像（図６参照）とである。ただし、複数の分離画像の数は２に限定されず、３以上の分離画像を利用することも可能である。
　ここで、複数の反射状態とは、対象物１００の表面での光の反射の状態を含む。対象物１００の表面を異なる方向から見た場合には、鏡面反射成分と拡散反射成分の比率が変わり得る。よって、複数の反射状態とは、異なる視点から見た対象物１００の表面の状態であるといえる。対象物１００の表面を異なる場所のカメラで撮像することで、対象物１００の表面での異なる反射状態を表す画像が得られる。対象物１００の表面を異なる場所のカメラで撮像する場合、得られた画像は、鏡面反射成分と拡散反射成分との両方を含み得る。しかしながら、演算処理によって、画像から鏡面反射成分だけ、及び、拡散反射成分だけを抽出することが可能である。図７に示すように、鏡面反射成分は、撮像面Ｉにおいて、光源Ｌから表面Ｓへの光の入射角と表面Ｓでの光の反射角とが等しくなる領域を中心にピークを持つ。よって、鏡面反射成分は、撮像面Ｉにおいて、反射角θを中心とする所定範囲（θ±φ）に対応する領域で支配的である。拡散反射成分は、撮像面Ｉにおいて所定範囲（θ±φ）以外に対応する領域で支配的である。よって、撮像面Ｉにおいて、反射光の強度は、鏡面反射成分と拡散反射成分との合成として与えられる。そして、鏡面反射成分と拡散反射成分とは統計的なモデルにより推定可能である。また、鏡面反射成分と拡散反射成分とは、強度の分布が異なっていることから、図８に示すように、画像の階調値（輝度値）に基づいて、分離することが可能である。
　本実施形態では、分離部Ｆ１２は、取得部Ｆ１１で取得された画像から、第１分離画像Ｐ１０（図５参照）と第２分離画像（図６参照）とを抽出する。そのため、複数の反射状態とは、鏡面反射成分だけの状態と拡散反射成分だけの状態とを含んでいてよい。第１分離画像Ｐ１０は、対象物１００の表面において鏡面反射成分だけの状態を表し、第２分離画像Ｐ２０は、対象物１００の表面において拡散反射成分だけの状態を表す。ここで、鏡面反射成分には、拡散反射成分よりも対象物１００の表面の状態がよく反映され、拡散反射成分には、鏡面反射成分よりも対象物１００の表面の色自体がよく反映される。
　判定部Ｆ１３は、設定処理（図３参照）と、色判定処理（図４参照）と、塗装処理（図１２参照）と、質感判定処理（図１５参照）とを行う。
　（設定処理）
　設定処理は、色判定処理の前処理である。設定処理では、撮像システム３０の設定を行う。判定部Ｆ１３は、撮像システム３０の設定を行うために、撮像システム３０の撮像条件を決定する。撮像条件は、撮像システム３０の複数のカメラ、特に複数の第１カメラ３１の動作状態を規定する。動作状態は、対象物１００の表面に対する位置、対象物１００の表面に対する撮像方向、画角（視野）、及び、拡大倍率（ズーミング）を含み得る。本実施形態では、撮像システム３０の４つの第１カメラ３１１～３１４は、図９及び図１０に示すように、対象物１００の表面の一部を表す画像（部分画像）Ｐ３１～Ｐ３４を生成する。本実施形態では、複数の部分画像Ｐ３１～Ｐ３４は、対象物１００に関する撮像方向が異なる複数のカメラ３１で生成される。そのため、図９に示すように、４つの第１カメラ３１１～３１４の部分画像Ｐ３１～Ｐ３４により、対象物１００の表面の全体を表す画像（全体画像）Ｐ３０を生成するために、判定部Ｆ１３は、撮像システム３０の撮像条件を決定する。判定部Ｆ１３は、決定した撮像条件に従い、撮像システム３０の設定を行う。これによって、撮像システム３０によって、対象物１００の全体の画像を得ることが可能になる。なお、本実施形態において、対象物１００の表面の全体とは、色判定処理での判定の対象となる部分の全てであればよく、実際的な意味で対象物１００の表面の全体である必要はない。
　以下、設定処理について、図３のフローチャートを参照して説明する。
　まず、判定部Ｆ１３は、取得部Ｆ１１により、撮像システム３０から対象物１００の複数の部分画像Ｐ３１～Ｐ３４を取得する（Ｓ１１）。取得部Ｆ１１で取得された複数の部分画像Ｐ３１～Ｐ３４のそれぞれから、分離部Ｆ１２によって、第１分離画像及び第２分離画像が取得される（Ｓ１２）。判定部Ｆ１３は、複数の部分画像Ｐ３１～Ｐ３４それぞれの第１分離画像を合成して、第１合成画像を生成する。また、判定部Ｆ１３は、複数の部分画像Ｐ３１～Ｐ３４それぞれの第２分離画像を合成して、第２合成画像を生成する（Ｓ１３）。判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれについて、対象物１００の連続性が維持されるように、撮像システム３０の撮像条件（４つの第１カメラ３１１～３１４の動作状態）を決定する（Ｓ１４）。ここで、対象物１００の連続性（撮影対象のグラデーションの連続性）が維持されるとは、部分画像を合成して得られる合成画像において、対象物１００の形状が正しく反映されていることをいう。図９は、対象物１００の連続性が維持されている状態を示している。図１０は、対象物１００の連続性が維持されていない状態を示している。なお、説明を分かりやすくするために、図９及び図１０では、第１分離画像及び第２分離画像ではなく、部分画像Ｐ３１～Ｐ３４から合成画像を生成した場合の例を示している。判定部Ｆ１３は、記憶部１２に記憶されている見本データに含まれる対象物１００の形状を参照して、撮像条件を決定することができる。判定部Ｆ１３は、第１分離画像及び第２分離画像での対象物１００の形状が、見本データに含まれる対象物１００の形状に一致するように撮像条件を決定する。判定部Ｆ１３は、決定した撮像条件に従い、撮像システム３０の設定を行う（Ｓ１５）。これによって、４つの第１カメラ３１１～３１４の動作状態が更新される。その結果、撮像システム３０によって、対象物１００の全体の画像を得ることが可能になる。
　このように、検査システム１は、複数のカメラ３１の画像（部分画像）を合成して合成画像（第１合成画像及び第２合成画像）を作成し、合成画像から撮像条件を計算して出力する。そして、検査システム１は、合成画像から撮影対象（対象物１００）のグラデーションの連続性が維持されるように、カメラ３１の画角とズーミングを制御する。
　（色判定処理）
　色判定処理は、対象物１００の表面の色を判定する処理である。より詳細には、色判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定する処理である。特に、判定部Ｆ１３は、色判定処理では、複数の分離画像Ｐ１０，Ｐ２０に基づいて、対象物１００の表面の色を判定する。更に、判定部Ｆ１３は、色判定処理では、複数の部分画像Ｐ３１～Ｐ３４から得られる、複数の反射状態それぞれにおいて対象物１００の表面の全体を表す画像Ｐ１０，Ｐ２０に基づいて、対象物１００の表面の色を判定する。なお、対象物１００の表面の色の判定は、画像Ｐ１０，Ｐ２０において、画素単位で実行され得る。
　以下、色判定処理について、図４のフローチャートを参照して説明する。
　まず、判定部Ｆ１３は、取得部Ｆ１１により、撮像システム３０から対象物１００の複数の部分画像Ｐ３１～Ｐ３４を取得する（Ｓ２１）。取得部Ｆ１１で取得された複数の部分画像Ｐ３１～Ｐ３４のそれぞれから、分離部Ｆ１２によって、第１分離画像及び第２分離画像が取得される（Ｓ２２）。判定部Ｆ１３は、複数の部分画像Ｐ３１～Ｐ３４それぞれの第１分離画像を合成して、第１合成画像を生成する。また、判定部Ｆ１３は、複数の部分画像Ｐ３１～Ｐ３４それぞれの第２分離画像を合成して、第２合成画像を生成する（Ｓ２３）。判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれについて、記憶部１２に記憶されている見本データの対象物１００の表面の目的の色の情報との比較をする（Ｓ２４）。対象物１００の表面の目的の色の情報は、第１合成画像用の目的の色の情報と第２合成画像用の目的の色の情報とを含む。よって、判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれについて、対象物１００の色の判定を行う。一例として、判定部Ｆ１３は、第１合成画像から得られる色と見本データの第１合成画像用の目的の色との一致度が規定値以上であれば、第１合成画像から得られる色が合格であるとする。同様に、判定部Ｆ１３は、第２合成画像から得られる色と第２合成画像用の目的の色との一致度が規定値以上であれば、第２合成画像から得られる色が合格であるとする。このように、判定部Ｆ１３は、複数の部分画像から得られる、複数の反射状態それぞれにおいて対象物１００の表面の全体を表す画像に基づいて、対象物１００の表面の色を判定する。判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれから得られた色が合格である場合に、色判定処理の結果を合格とする（Ｓ２５：Ｙｅｓ）。
　一方、判定部Ｆ１３は、第１合成画像及び第２合成画像のそれぞれから得られた色の少なくとも一方が不合格である場合に、色判定処理の結果を不合格とする（Ｓ２５：Ｎｏ）。この場合には、判定部Ｆ１３は、対象物１００の再塗装を行う（Ｓ２６）。再塗装では、判定部Ｆ１３は、第１合成画像から得られる色と第１合成画像用の目的の色の差分、及び、第２合成画像から得られる色と第２合成画像用の目的の色の差分に応じて、塗装システム４０を制御する。つまり、判定部Ｆ１３は、対象物１００の表面を塗装する塗装システム４０を、色判定処理の結果に基づいて制御する。これによって、対象物１００の表面の色を、目的の色に近付けることができる。例えば、図１１は、合成画像（第１合成画像又は第２合成画像）から得られた色を表すグラフＧ１０，Ｇ１１と、合成画像に対応する目的の色を表すグラフＧ２０との関係を示す。図１１において、Ｇ１０は再塗装前の色を表し、Ｇ１１は再塗装後の色を表す。このように、検査システム１では、対象物１００の表面の色を修正できる。
　（塗装処理）
　塗装処理は、対象物１００の塗装（塗着ともいう）を行う処理である。以下、塗装処理について、図１２のフローチャート及び、図１３並びに図１４を参照して説明する。図１３及び図１４は、塗装処理の一場面を示している。
　まず、判定部Ｆ１３は、対象物１００の表面において塗装場所（塗着場所）を決定する（Ｓ３１）。本実施形態では、塗装システム４０は、２つの塗装ロボット４１，４２を備えているから、対象物１００の表面から、同時に２つの塗装場所を選択可能である。塗装場所の例としては、ボンネット、ルーフ、フロントドア、リヤドア、フロントバンパ、リヤバンパ、フェンダ、リヤフェンダ、トランクカバー等がある。判定部Ｆ１３は、撮像システム３０を利用して、塗着場所を決定する。判定部Ｆ１３は、第２カメラ３２で対象物１００の表面の全体を監視しており、対象物１００の表面において塗装されていない場所（未塗装の場所）を把握する。判定部Ｆ１３は、対象物１００の表面において未塗装の場所から、次の塗装場所を選択する。
　次に、判定部Ｆ１３は、塗装前検査を実行する（Ｓ３２）。塗装前検査では、判定部Ｆ１３は、塗装場所の塗装の前に、塗装場所に異物がないかどうかを判断する。判定部Ｆ１３は、撮像システム３０を制御し、複数の第１カメラ３１の一つ（図１３では、第１カメラ３１２）を用いて、塗装場所の画像を撮像し、取得部Ｆ１１を通じて取得する。判定部Ｆ１３は、取得部Ｆ１１で得た塗装場所の画像から、画像処理技術により、異物の検出を行う。異物がないかどうかの判断時には、塗装場所の状態（色合い、凹凸情報）も判定される。塗装場所の状態は、塗装システム４０による塗装のレベル（塗着レベル）に反映される。一例として、塗装のレベル（塗着レベル）に応じて、塗料の吐出量（噴霧量、噴霧濃度）が決定される。ここで、異物が検出されなければ（Ｓ３３：Ｎｏ）、判定部Ｆ１３は、塗装場所の塗装（塗着）を開始する（Ｓ３４）。
　塗装場所の塗装時には、判定部Ｆ１３は、図１３に示すように、塗装システム４０を制御し、塗装ロボット４１，４２を用いて、塗装場所（図１３では、ボンネット及び右リヤフェンダ）の塗装を行う。更に、判定部Ｆ１３は、対象物１００の表面において塗装中の場所の状態の判定を行う。判定部Ｆ１３は、撮像システム３０を制御して、塗装場所の画像を取得する。図１３では、第１カメラ３１１及び３１４が塗装場所の画像の取得に利用されている。判定部Ｆ１３は、取得部Ｆ１１で取得された対象物１００の表面の画像（つまり、塗装場所の画像）から得られる表面（現在の表面）の塗装状態と対象物１００の表面の目的の塗装状態との差分を求める。判定部Ｆ１３は、差分が小さくなるように、塗装システム４０を制御する。一例として、判定部Ｆ１３は、塗装ロボット４１，４２からの噴霧濃度（射出量）を調整する。塗装判定処理では、判定部Ｆ１３は、塗装場所の塗着不足（例えば、色合い及び均一性）が判断される。なお、塗装判定処理においても、色判定処理と同様に、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定してよい。
　塗装が終了すると、判定部Ｆ１３は、塗装後検査を実行する（Ｓ３５）。塗装後検査では、判定部Ｆ１３は、塗装後の状態を判断する。塗装後の状態としては、塗料の垂れの有無、乾燥の有無、塗装済みの場所との連続性（色合いや表面状態の連続性）が挙げられる。本実施形態では、塗装場所での塗料の垂れがないかどうかを判断する。判定部Ｆ１３は、撮像システム３０を制御し、複数の第１カメラ３１の一つ（図１３では、第１カメラ３１３）を用いて、塗装が終了した塗装場所の画像を撮像し、取得部Ｆ１１を通じて取得する。取得部Ｆ１１で得た塗装場所の画像から、塗料の垂れの検出を行う。例えば、塗料の垂れは、塗装場所の色合い及び表面状態（例えば、色の均一性）に基づいて検出できる。判定部Ｆ１３は、取得部Ｆ１１で取得された対象物１００の表面の画像（つまり、塗装場所の画像）から得られる表面（現在の表面）の塗装状態と対象物１００の表面の目的の塗装状態との差分を求める。対象物１００の表面の目的の塗装状態（塗料の垂れの判断の比較画像）として、第２カメラ３２で撮像された対象物１００の表面の全体の画像から、塗料が均一に塗られた部分を用いてよい。判定部Ｆ１３は、差分が閾値（第１閾値）を超えた場合には、塗料の垂れがあると判断してよい。なお、塗料の垂れの判断においても、色判定処理と同様に、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定してよい。
　ここで、塗料の垂れが検出されなければ（Ｓ３６：Ｎｏ）、判定部Ｆ１３は、第２カメラ３２で撮像した対象物１００の表面の全体の画像に基づいて、未塗着の場所があるかどうかを判断する（Ｓ３７１）。未塗着の場所があれば（Ｓ３７１：Ｙｅｓ）、判定部Ｆ１３は、次の塗着場所の決定を行う（Ｓ３１）。一方、未塗着の場所がなければ（Ｓ３７１：Ｎｏ）、判定部Ｆ１３は、最終検査を実行する（Ｓ３７２）。最終検査では、判定部Ｆ１３は、色判定処理を行い、対象物１００の表面の全体の色を検査してよい。
　一方、塗料の垂れが検出された場合（Ｓ３６：Ｙｅｓ）、判定部Ｆ１３は、塗料の垂れの度合いを判断する（Ｓ３８１）。より詳細には、判定部Ｆ１３は、塗料の垂れの度合いが重度かどうかを判断する。塗料の垂れの度合いが重度かどうかは、再塗装によって、塗料の垂れを修正できるかどうかで決まってよい。一例として、判定部Ｆ１３は、取得部Ｆ１１で得た塗装場所の画像と比較画像との差分が第１閾値より大きい第２閾値を超えた場合には、塗料の垂れが重度であると判断してよい。なお、第１閾値と第２閾値は一致していてよい。なお、塗料の垂れが検出された場合、判定部Ｆ１３は、塗料の垂れの画像の特徴量と、塗料の吐出量、室温、湿度、換気流量等を統計解析や機械学習で関連付け、塗料の垂れの再発防止情報を生成してよい。
　塗料の垂れの度合いが重度でなければ（Ｓ３８１：Ｎｏ）、判定部Ｆ１３は、再塗着（再塗装）を実行する（Ｓ３８２）。再塗着では、塗着（Ｓ３４）と同様に、判定部Ｆ１３は、塗装システム４０を制御し、塗料の垂れの検出された塗装場所を再度塗装する。一例として、図１４では、塗装ロボット４２によって、トランクカバーを再塗装するために、第１カメラ３１４でトランクカバーを撮像している様子を示している。そして、再塗着が終了すると、判定部Ｆ１３は、再度、塗装後検査を実行する（Ｓ３５）。
　なお、塗装処理において、異物が検出された場合（Ｓ３３：Ｙｅｓ）、又は、塗料の垂れが重度である場合（Ｓ３８１：Ｙｅｓ）、判定部Ｆ１３は、塗装処理（塗着）を中止する（Ｓ３９）。
　塗装処理は、塗装判定処理（Ｓ３４、Ｓ３５）を含む。は、塗装判定処理は、対象物１００の表面の塗装状態を判定する処理である。より詳細には、塗装判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像に基づいて、対象物１００の表面の塗装状態を判定する処理である。判定部Ｆ１３は、塗装判定処理では、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる表面の塗装状態と対象物１００の表面の目的の塗装状態との差分を求める。判定部Ｆ１３は、塗装判定処理の結果に応じて撮像システム３０の複数のカメラ３１，３２の動作状態を制御する。つまり、判定部Ｆ１３は、対象物１００の塗装の進捗に応じて、撮像システム３０の複数のカメラ３１，３２の動作状態を制御する。特に、複数のカメラ３１，３２は、対象物１００の表面の一部の画像を生成する１以上の第１カメラ３１と、対象物１００の表面の全体の画像を生成する第２カメラ３２とを含む。判定部Ｆ１３は、塗装判定処理の結果に応じて１以上の第１カメラ３１の動作状態を制御する。また、判定部Ｆ１３は、第２カメラ３２で撮像された画像と塗装判定処理の結果に応じて１以上の第１カメラ３１の動作状態を制御する。
　本実施形態では、判定部Ｆ１３は、撮像システム３０の複数のカメラ３１，３２を制御し、対象物１００の全体の塗装を実行する。ここで、対象物１００が自動車のような車両である場合、サイズが大きく、かつ、観察すべき塗装状態（塗着、垂れ、乾燥、異物等）が多岐にわたるため、１つのカメラで対象物１００全体を撮影することは困難である。しかしながら、本実施形態の検査システム１は、対象物１００において塗料の塗布が行われている局所を撮影する第１カメラ（局所カメラ）３１と、対象物１００の全体の塗装状態をとらえる第２カメラ（俯瞰カメラ）３２を連動させる。そのため、本実施形態の検査システム１は、対象物１００の塗装状態を見落としなくセンシングすることが可能である。
　（質感判定処理）
　質感判定処理は、対象物１００の表面の質感の判定を行う処理である。質感判定処理は、異なる場所Ｌ１～Ｌ３（図１６参照）から対象物１００の表面を撮像して得られた複数の系列画像複数の系列画像間の輝度情報の変化に基づいて、対象物１００の表面の質感を判定する処理である。ここでは、輝度情報の変化は、特徴量ベクトル（空間特徴量ベクトル及び時間特徴量ベクトル）で定義される。
　以下、質感判定処理について、図１５のフローチャート及び図１６を参照して説明する。図１６は、第２カメラ３２と対象物１００との位置関係を示している。なお、第２カメラ３２の代わりに第１カメラ３１を用いることもできる。
　まず、判定部Ｆ１３は、取得部Ｆ１１により、異なる場所Ｌ１～Ｌ３（図１６参照）から対象物１００の表面を撮像して得られた複数の系列画像を取得する（Ｓ４１）。複数の系列画像のうちの少なくとも２つは、同一のカメラ３２の位置を変えて対象物１００の表面を撮像して得られる。より詳細には、図１６に示すように、異なる場所Ｌ１，Ｌ２，Ｌ３・・・において、カメラ３２で対象物１００の表面の画像を撮ることで、複数の系列画像が得られる。場所Ｌ１，Ｌ２，Ｌ３・・・は、一例としては、対象物１００を囲うように並んでおり、対象物１００を中心とする円上にある。なお、複数の系列画像は、異なる場所Ｌ１，Ｌ２，Ｌ３・・・に設置した複数のカメラで得ることも可能である。以下では、複数の系列画像の２つの系列画像（第１系列画像及び第２系列画像）について説明する。なお、第１系列画像は、第２系列画像よりも前に撮像された画像である。
　次に、判定部Ｆ１３は、画素間の輝度値の差分（空間特徴量ベクトル）を算出する（Ｓ４２）。判定部Ｆ１３は、系列画像から輝度情報を抽出する。輝度情報は、系列画像の複数の画素から求まる輝度値（画素値）の差分である。輝度値の差分は、系列画像の複数の画素のうち１以上を含む第１領域の輝度値と、第１領域に隣接し複数の画素のうちの１以上を含む第２領域の輝度値との差分である。一例として、第１領域は、ｍ×ｎの画素からなる領域であってよい。ここで、ｍ、ｎはいずれも１以上の整数である。本実施形態では、第１領域は、１×１の画素（つまりは一画素）からなる領域である。第１領域の中心の画素を第１画素（基準画素）という。ここでは、第１領域は、系列画像（複数の画素で構成される画像）において最も明るい領域である。第１領域は第１画素のみであるから、第１画素は、系列画像の複数の輝度値のうち最も輝度値が高い画素である。一方、第２領域は、第１領域を囲う領域であってよい。一例として、第２領域は、第１領域を中心とする、Ｍ×Ｎの画素からなる領域であってよい。ここで、Ｍ、Ｎはいずれも３以上の整数である。本実施形態では、第２領域は、系列画像の複数の画素のうち第１画素を除く画素で構成される。つまり、判定部Ｆ１３は、系列画像について、第１画素の輝度値と各画素の輝度値の差分を求め、各画素の輝度値を差分値に置き換える。そして、判定部Ｆ１３は、第１画素の輝度値と、系列画像の複数の画素の置き換え後の輝度値（差分値）とを要素とする特徴量ベクトル（空間特徴量ベクトル）を得る。なお、第１画素は、最も輝度値が大きい画素に限らず、最も輝度値が小さい画素、輝度値が画像の平均値である画素、及び画像の中心にある画素のいずれかであってもよい。
　次に、判定部Ｆ１３は、フレーム間の輝度値の差分（時間特徴量ベクトル）を算出する（Ｓ４３）。判定部Ｆ１３は、第１系列画像の複数の画素のうち１以上を含む第１注目領域の輝度値と、第２系列画像の複数の画素のうち第１注目領域に対応する第２注目領域の輝度値との差分である。つまり、第１注目領域と第２注目領域とは、対象物１００の表面の同じ部分に対応するように選択される。一例として、第１注目領域は、第１系列画像より小さい領域である。第１注目領域は、ｍ×ｎの画素からなる領域であってよい。ここで、ｍ、ｎはいずれも１以上の整数である。第１注目領域の中心の画素は、最も輝度値が大きい画素、最も輝度値が小さい画素、及び、輝度値が画像の平均値である画素のいずれかであってよい。本実施形態では、第１注目領域の中心の画素は、輝度値が画像の平均値である画素である。第２注目領域は、第１注目領域と同じ大きさの領域（ｍ×ｎの画素からなる領域）である。第２注目領域の中心の画素は、第１注目領域の中心の画素との輝度値の差が最も小さい画素であり、輝度値が同じであることが好ましい。そして、判定部Ｆ１３は、第１系列画像（第１注目領域）と第２系列画像（第２注目領域）の輝度値の差分を求め、第２系列画像（第２注目領域）の輝度値を差分値に置き換える。つまり、判定部Ｆ１３は、第１系列画像の第１注目領域に含まれる画素の輝度値と第２系列画像の第２注目領域に含まれる画素の輝度値の差分を求める。これによって、ｍ×ｎの画素について輝度値の差分値が得られる。そして、判定部Ｆ１３は、第１注目領域の中心の画素の輝度値と第２系列画像の置き換え後の画素値（差分値）を要素とする特徴量ベクトル（時間特徴量ベクトル）を得る。
　最後に、判定部Ｆ１３は、質感（質感量）を算出する（Ｓ４４）。本実施形態では、質感は、空間特徴量ベクトルと時間特徴量ベクトルの結合によって与えられる。換言すれば、本実施形態では、対象物１００の表面の質感を空間特徴量ベクトルと時間特徴量ベクトルの結合という形式で数値化している。そして、判定部Ｆ１３は、質感が要求を満たすかどうかを数値的に判断してよい。例えば、判定部Ｆ１３は、質感を示すベクトルの大きさが閾値を超えるかどうかによって、質感が要求を満たすかどうかを判定してよい。質感が要求を満たす場合には、判定部Ｆ１３は、質感の検査が合格であると判断してよい。質感が要求を持たさない場合委は、判定部Ｆ１３は、再塗装や不良品判定をしてよい。
　このように、本実施形態では、カメラ３２と対象物１００の相対的な変位に伴う輝度値の変化量を空間軸と時間軸で算出して統合する。空間軸の輝度値の変化量（空間的変化量）は、基準画素の輝度値とその近接画素の輝度値の差分で与えられる。基準画素の例としては、最も明るい画素、最も暗い画素、平均明るさの画素、及び画像中心画素が挙げられる。時間軸の輝度値の変化量（時間的変化量）は、基準フレームと近接フレームの差分で与えられる。そのため、本実施形態では、対象物１００の表面（特に塗装された表面）の質感（人間が感じる表面状態に関する認知）を計測して数値化することが可能である。
１．３　まとめ
　以上述べた検査システム１は、取得部Ｆ１１と、判定部Ｆ１３とを備える。取得部Ｆ１１は、対象物１００の表面の画像を取得する。判定部Ｆ１３は、色判定処理を行う。色判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定する処理である。したがって、検査システム１によれば、対象物１００の表面の色の判定の精度を向上できる。
　換言すれば、検査システム１は、下記の方法（検査方法）を実行しているといえる。検査方法は、取得ステップと、判定ステップとを備える。取得ステップは、対象物１００の表面の画像を取得するステップである。判定ステップは、色判定処理を行うステップである。色判定処理は、取得部Ｆ１１で取得された対象物１００の表面の画像から得られる、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物１００の表面の色を判定する処理である。したがって、検査方法によれば、検査システム１と同様に、対象物１００の表面の色の判定の精度を向上できる。
　検査方法は、１以上のプロセッサがプログラム（コンピュータプログラム）を実行することにより実現される。このプログラムは、１以上のプロセッサに検査方法を実行させるためのプログラムである。このようなプログラムによれば、検査方法と同様に、対象物１００の表面の色の判定の精度を向上できる。そして、プログラムは、記憶媒体により提供され得る。この記憶媒体は、コンピュータで読み取り可能な非一時的な記憶媒体であって、上記のプログラムを記憶している。このような記憶媒体によれば、検査方法と同様に、対象物１００の表面の色の判定の精度を向上できる。
　別の観点からすれば、検査システム１は、撮像システム３０と、取得部Ｆ１１と、判定部Ｆ１３とを備える。撮像システム３０は、対象物１００の表面を撮像して対象物１００の表面の画像を生成する。取得部Ｆ１１は、撮像システム３０から、対象物１００の表面の画像を取得する。判定部Ｆ１３は、取得部Ｆ１１で取得された対象物１００の表面の画像に基づいて、対象物１００の表面の塗装状態を判定する塗装判定処理を行い、塗装判定処理の結果に応じて撮像システム３０を制御する。この検査システム１によれば、対象物１００の表面の塗装の品質の向上が図れる。
　また、別の観点からすれば、検査システム１は、取得部Ｆ１１と、判定部Ｆ１３とを備える。取得部Ｆ１１は、異なる場所Ｌ１～Ｌ３から対象物１００の表面を撮像して得られた複数の系列画像を取得する。判定部Ｆ１３は、複数の系列画像間の輝度情報の変化に基づいて、対象物１００の表面の質感を判定する質感判定処理を行う。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。
２．変形例
　本開示の実施形態は、上記実施形態に限定されない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。
　上記実施形態では、撮像システム３０のカメラは、一例として、所定帯域に波長が含まれる光を検出可能である。所定帯域は、一例として、３８０ｎｍ～７８０ｎｍである。ただし、撮像システム３０の複数のカメラは、互いに透過帯域が異なるフィルタを有していてよい。例えば、４つの第１カメラ３１１～３１４は、異なる帯域の波長の光を検出するように構成されていてよい。異なる帯域の波長の光は、一例として、図１７に示すように、３８０ｎｍ～４８０ｎｍの光（青色光）、４８０ｎｍ～５８０ｎｍの光（緑色光）５８０ｎｍ～６８０ｎｍの光（黄色光）、及び６８０ｎｍ～７８０ｎｍの光（赤色光）がある。このように、複数のカメラ３１で異なる帯域の波長の光を検出することで、対象物１００の色のより精細なレベルでの判定が可能になる。特に図１７の例では、４つの帯域の各々において、各々１０ｎｍの９バンドに分割されており、３８０ｎｍ～７８０ｎｍの帯域を、３６に分割して検出する。そのため、比較的よく使用される３バンドの構成に比べて、対象物１００の色のより精細なレベルでの判定が可能になる。なお、一つのカメラで複数の透過帯域の異なるフィルタを利用しても同様の効果を奏し得る。
　一変形例では、照明システム２０が放射する光の波長が変更可能であってよい。これは、発光色の異なる光源、又はカラーフィルタを利用して実現し得る。ようするに、検査システム１においては、照明システム２０が放射する光の波長と撮像システム３が検出する光の波長との少なくとも一方は変更可能であってよい。
　上記実施形態では、複数の部分画像Ｐ３１～Ｐ３４は、対象物１００に関する撮像方向が異なる複数のカメラ３１で生成される。しかしながら、複数の部分画像Ｐ３１～Ｐ３４は、同一のカメラの位置を変えて対象物１００の表面を撮像して得られてもよい。
　上記実施形態では、対象物１００の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態は、画像の形式であるが、これらは、画像ではなくヒストグラム等の他の形式であってよい。つまり、対象物１００の表面の反射状態は、必ずしも画像で与えられる必要はなく、反射状態によって色の判定が可能な形式であってよい。
　一変形例では、設定処理は必須ではない。設定処理を行わない場合、複数のカメラ３１で生成された画像のそれぞれに対して、見本データを用意して、色判定処理を実行してよい。これによって、複数のカメラ３１で対象物１００の表面の異なる部位に関して個々別々に色判定処理を行うことが可能となる。なお、この場合には、色判定処理において、画像の合成は行われない。
　上記実施形態では、判定部Ｆ１３は、再塗装では、第１合成画像から得られる色と第１合成画像用の目的の色の差分、及び、第２合成画像から得られる色と第２合成画像用の目的の色の差分に応じて、塗装システム４０を制御する。しかし、判定部Ｆ１３は、学習済みモデル（調色モデル）を利用して、塗装システム４０を制御してもよい。調色モデルは、修正前の色と修正後の色との組み合わせと塗装システム４０の制御内容との関係を学習した学習済みモデルである。この場合、記憶部１２は、調色モデルを格納する。調色モデルは、修正前の色と修正後の色との組み合わせと塗装システム４０の制御内容との関係を示す学習用データセットにより、人工知能のプログラム（アルゴリズム）に、修正前の色と修正後の色との組み合わせと塗装システム４０の制御内容との関係を学習させることで、生成される。人工知能のプログラムは、機械学習のモデルであって、例えば、階層モデルの一種であるニューラルネットワークが用いられる。調色モデルは、ニューラルネットワークに学習用データセットで機械学習（例えば、深層学習）を行わせることで、生成される。つまり、調色モデルは、検査システム１の処理部１３又は外部システムにより生成されてよい。検査システム１では、処理部１３は、調色モデルを生成するための学習用データを収集し、蓄積してもよい。このように処理部１３で新たに収集した学習用データは、調色モデルの再学習に利用でき、これによって、調色モデル（学習済みモデル）の性能の向上が図れる。特に、再塗装を行った場合に再度、色判定処理の結果が不合格となった場合に、再学習を行うことで、調色モデルの性能の向上が図れる。
　一変形例では、判定部Ｆ１３は、質感判定処理に関して、モデルを利用してよい。モデルは、塗装サンプルを複数作製し、塗装の良否判定と質感量のペアを作成し、両者の関係をモデル化することで得られる。モデル化は、回帰分析や機械学習で行ってよい。この場合、判定部Ｆ１３は、質感量に基づいて、塗装の良否判定を実行することが可能である。一変形例では、空間特徴量ベクトルだけで、質感量として、カメラ３２と対象物１００の位置関係が固定された場合の質感計測に利用してもよい。
　一変形例では、質感判定処理において、輝度情報は、系列画像の複数の画素から求まる輝度値の差分であってよい。この差分は、複数の画素のうち１以上を含む第１領域の輝度値と、第１領域に隣接し複数の画素のうちの１以上を含む第２領域の輝度値との差分であってよい。また、第１領域は、複数の画素のうちの第１画素であってよい。第２領域は、複数の画素のうち第１画素に隣接する第２画素であってよい。また、第１領域は、複数の画素で構成される画像において最も明るい領域であってよい。
　一変形例では、検査システム１（判定システム１０）は、複数のコンピュータにより構成されていてもよい。例えば、検査システム１（判定システム１０）の機能（特に、取得部Ｆ１１、分離部Ｆ１２、及び判定部Ｆ１３）は、複数の装置に分散されていてもよい。更に、検査システム１（判定システム１０）の機能の少なくとも一部が、例えば、クラウド（クラウドコンピューティング）によって実現されていてもよい。
　以上述べた検査システム１（判定システム１０）の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における検査システム１（判定システム１０）の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ（ＦＧＰＡ）、ＡＳＩＣ（application specific integrated circuit）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
　３．態様
　上記実施形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施形態との対応関係を明示するためだけに、符号を括弧付きで付している。
　第１の態様は、検査システム（１）であって、取得部（Ｆ１１）と、判定部（Ｆ１３）とを備える。前記取得部（Ｆ１１）は、対象物（１００）の表面の画像（Ｐ３０～Ｐ３４）を取得する。前記判定部（Ｆ１３）は、色判定処理を行う。前記色判定処理は、前記取得部（Ｆ１１）で取得された前記対象物１００の表面の画像（Ｐ３０～Ｐ３４）から得られる、前記対象物（１００）の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、前記対象物（１００）の表面の色を判定する処理である。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。
　第２の態様は、第１の態様の検査システム（１）に基づく。第２の態様では、前記検査システム（１）は、分離部（Ｆ１２）を更に備える。前記分離部（Ｆ１２）は、前記取得部（Ｆ１１）で取得された画像から、それぞれ前記対象物（１００）の表面の画像（Ｐ３０～Ｐ３４）を表すが、鏡面反射成分と拡散反射成分の比率が互いに異なる複数の分離画像（Ｐ１０，Ｐ２０）を取得する。前記判定部（Ｆ１３）は、前記色判定処理では、前記複数の分離画像（Ｐ１０，Ｐ２０）に基づいて、前記対象物（１００）の表面の色を判定する。この態様によれば、対象物（１００）の表面の色の判定の精度を更に向上できる。また、色判定処理の効率の向上が図れる。
　第３の態様は、第１又は第２の態様の検査システム（１）に基づく。第３の態様では、前記取得部（Ｆ１１）は、前記対象物（１００）の表面の画像として、前記対象物（１００）の表面の一部を表す複数の部分画像（Ｐ３１～Ｐ３４）を取得する。前記判定部（Ｆ１３）は、前記色判定処理では、前記複数の部分画像から得られる、前記複数の反射状態それぞれにおいて前記対象物（１００）の表面の全体を表す画像（Ｐ１０，Ｐ２０）に基づいて、前記対象物（１００）の表面の色を判定する。この態様によれば、比較的大きい対象物（１００）の表面の色の判定が可能になる。
　第４の態様は、第３の態様の検査システム（１）に基づく。第４の態様では、前記複数の部分画像（Ｐ３１～Ｐ３４）は、前記対象物（１００）に関する撮像方向が異なる複数のカメラ（３１）で生成される。この態様によれば、簡易な構成によって、比較的大きい対象物（１００）の表面の色の判定が可能になる。
　第５の態様は、第１～第４の態様のいずれか一つの検査システム（１）に基づく。第５の態様では、前記検査システム（１）は、照明システム（２０）と、撮像システム（３０）と、を更に備える。前記照明システム（２０）は、前記対象物（１００）の表面に光を照射する。前記撮像システム（３０）は、前記照明システム（２０）によって照らされている前記対象物（１００）の表面を撮像して前記対象物（１００）の表面の画像を生成する。前記取得部（Ｆ１１）は、前記撮像システム（３０）から、前記対象物（１００）の表面の画像を取得する。前記照明システム（２０）が放射する光の波長と前記撮像システム（３０）が検出する光の波長との少なくとも一方は変更可能である。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。
　第６の態様は、第１～第５の態様のいずれか一つの検査システム（１）に基づく。第６の態様では、前記判定部（Ｆ１３）は、前記色判定処理では、前記対象物（１００）の表面の目的の色の情報を含む見本データを利用して、前記対象物（１００）の表面の色を判定する。この態様によれば、対象物（１００）の表面の色の判定の精度を更に向上できる。
　第７の態様は、第６の態様の検査システム（１）に基づく。第７の態様では、前記見本データは、前記対象物（１００）の形状と前記対象物（１００）の撮像条件との少なくとも一方を含む。この態様によれば、対象物（１００）の表面の色の判定の精度を更に向上できる。
　第８の態様は、第１～第７の態様のいずれか一つの検査システム（１）に基づく。第８の態様では、前記判定部（Ｆ１３）は、前記対象物（１００）の表面を塗装する塗装システム（４０）を、前記色判定処理の結果に基づいて制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。
　第９の態様は、第１の態様の検査システム（１）に基づく。第９の態様では、前記検査システム（１）は、前記対象物（１００）の表面を撮像して前記対象物（１００）の表面の画像を生成する撮像システム（３０）を更に備える。前記取得部（Ｆ１１）は、前記撮像システム（３０）から、前記対象物（１００）の表面の画像を取得する。前記判定部（Ｆ１３）は、前記取得部（Ｆ１１）で取得された前記対象物（１００）の表面の画像に基づいて、前記対象物（１００）の表面の塗装状態を判定する塗装判定処理を行い、前記塗装判定処理の結果に応じて前記撮像システム（３０）を制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。
　第１０の態様は、第９の態様の検査システム（１）に基づく。第１０の態様では、前記判定部（Ｆ１３）は、前記塗装判定処理では、前記取得部（Ｆ１１）で取得された前記対象物（１００）の表面の画像から得られる前記表面の塗装状態と前記対象物（１００）の表面の目的の塗装状態との差分を求める。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。
　第１１の態様は、第９又は第１０の態様の検査システム（１）に基づく。第１１の態様では、前記撮像システム（３０）は、複数のカメラ（３１，３２）を含む。前記判定部（Ｆ１３）は、前記塗装判定処理の結果に応じて前記撮像システム（３０）の前記複数のカメラ（３１，３２）の動作状態を制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。
　第１２の態様は、第１１の態様の検査システム（１）に基づく。第１２の態様では、前記複数のカメラ（３１，３２）は、前記対象物（１００）の表面の一部の画像を生成する１以上の第１カメラ（３１）と、前記対象物（１００）の表面の全体の画像を生成する第２カメラ（３２）とを含む。前記判定部（Ｆ１３）は、前記塗装判定処理の結果に応じて前記１以上の第１カメラ（３１）の動作状態を制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。
　第１３の態様は、第１２の態様の検査システム（１）に基づく。第１３の態様では、前記判定部（Ｆ１３）は、前記第２カメラ（３２）で撮像された画像と前記塗装判定処理の結果に応じて前記１以上の第１カメラ（３１）の動作状態を制御する。この態様によれば、対象物（１００）の表面の塗装の品質の向上が図れる。
　第１４の態様は、第１の態様の検査システム（１）に基づく。第１４の態様では、前記取得部（Ｆ１１）は、異なる場所（Ｌ１～Ｌ３）から前記対象物（１００）の表面を撮像して得られた複数の系列画像を取得する。前記判定部（Ｆ１３）は、前記複数の系列画像間の輝度情報の変化に基づいて、前記対象物（１００）の表面の質感を判定する質感判定処理を行う。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。
　第１５の態様は、第１４の態様の検査システム（１）に基づく。第１５の態様では、前記複数の系列画像のうちの少なくとも２つは、同一のカメラの位置を変えて前記対象物（１００）の表面を撮像して得られる。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。
　第１６の態様は、第１４又は第１５の態様の検査システム（１）に基づく。第１６の態様では、前記複数の系列画像の各々は複数の画素を含む。前記輝度情報は、前記複数の画素から求まる輝度値の差分を含む。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。
　第１７の態様は、第１６の態様の検査システム（１）に基づく。第１７の態様では、前記差分は、前記複数の画素のうち１以上を含む第１領域の輝度値と、前記第１領域に隣接し前記複数の画素のうちの１以上を含む第２領域の輝度値との差分である。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。
　第１８の態様は、第１７の態様の検査システム（１）に基づく。第１８の態様では、前記第１領域は、前記複数の画素のうちの第１画素である。前記第２領域は、前記複数の画素のうち前記第１画素に隣接する第２画素である。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。
　第１９の態様は、第１７又は第１８の態様の検査システム（１）に基づく。第１９の態様では、前記第１領域は、前記複数の画素で構成される画像において最も明るい領域である。この態様によれば、対象物（１００）の表面の質感の判定の精度を更に向上できる。
　第２０の態様は、検査方法であって、取得ステップと、判定ステップとを含む。前記取得ステップは、対象物（１００）の表面の画像（Ｐ３０～Ｐ３４）を取得するステップである。前記判定ステップは、色判定処理を行うステップである。前記色判定処理は、前記取得部（Ｆ１１）で取得された前記対象物１００の表面の画像（Ｐ３０～Ｐ３４）から得られる、前記対象物（１００）の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、前記対象物（１００）の表面の色を判定する処理である。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。なお、第２０の態様には、第２～第１９の態様の検査システム（１）を検査方法に読み替えて適用でき得る。
　第２１の態様は、プログラムであって、１以上のプロセッサに、第２０の態様の検査方法を実行させるための、プログラムである。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。
　第２２の態様は、コンピュータで読み取り可能な非一時的な記憶媒体であって、第２２の態様のプログラムを記憶している、記憶媒体である。この態様によれば、対象物（１００）の表面の色の判定の精度を向上できる。
　更に、本開示は、下記の第２３～第３４の態様を含む。
　第２３の態様は、着色検査装置であって、特定の帯域の光を透過するフィルタを交換可能なカメラを備え、前記カメラが撮影した画像を用いて撮影対象の色を検査する。
　第２４の態様は、第２３の態様の着色検査装置に基づく。第２４の態様では、前記着色検査装置は、前記カメラを複数台備え、複数の前記カメラの画像を合成して合成画像を作成し、前記合成画像から撮像条件を計算して出力する。
　第２５の態様は、第２４の態様の着色検査装置に基づく。第２５の態様では、複数の前記カメラに設けられた前記フィルタは互いに透過帯域が異なる。
　第２６の態様は、第２４又は第２５の態様の着色検査装置に基づく。第２６の態様では、複数の前記カメラは異なる方向から前記撮影対象を撮影する。
　第２７の態様は、第２４～第２６の態様のいずれか一つの着色検査装置に基づく。第２７の態様では、前記着色検査装置は、前記合成画像から前記撮影対象のグラデーションの連続性が維持されるように、前記カメラの画角とズーミングを制御する。
　第２８の態様は、第２７の態様の着色検査装置に基づく。第２８の態様では、前記着色検査装置は、撮影対象の形状情報と照明情報を用いて前記カメラを制御する。
　第２９の態様は、第２３～第２９の態様のいずれか一つの着色検査装置に基づく。第２９の態様では、前記着色検査装置は、見本となる色データを記録し、前記撮影対象の色と前記見本となる色データを比較し、前記撮影対象を塗装する塗装部を制御する。
　第３０の態様は、着色検査方法であって、複数の透過帯域の異なるフィルタが設けられたカメラで互いに異なる方向から撮影対象を撮影し、複数の前記カメラの画像を合成して合成画像を作成し、前記合成画像から前記撮影対象の色を検査する。
　第３１の態様は、第３０の態様の着色検査方法に基づく。第３１の態様では、前記着色検査方法は、前記合成画像から撮像条件を出力する。
　第３２の態様は、第３０又は第３１の態様の着色検査方法に基づく。第３２の態様では、前記着色検査方法は、前記合成画像から前記撮影対象のグラデーションの連続性が維持されるように、前記カメラの画角とズーミングを制御する。
　第３３の態様は、第３１の態様の着色検査装置に基づく。第３３の態様では、前記着色検査装置は、撮影対象の形状情報と照明情報を用いて前記カメラを制御する。
　第３４の態様は、第３０～第３３の態様のいずれか一つの着色検査装置に基づく。第３４の態様では、前記着色検査装置は、見本となる色データを記録し、前記撮影対象の色と前記見本となる色データを比較し、前記撮影対象を塗装する塗装部を制御する。
　更に、本開示は、下記の第３５～第３７の態様を含む。
　第３５の態様は、システムであって、ある時点における塗装状態の情報を取得する塗装情報取得部（カメラ群の意味）と、その時点における塗装状態のあるべき状態を示す基準情報を保有する基準情報保持部と、塗装情報取得部と、前記基準情報保持部に接続する制御部と、を備え、前記制御部は、前記塗装情報取得部から得た情報と、基準情報保持部から得た情報との差分を求め、前記差分を元に、前記塗装情報取得部（カメラ群の意）に制御コマンドを送信する。
　第３６の態様は、第３５の態様のシステムに基づく。第３６の態様では、前記制御コマンドは、塗装情報取得部（カメラ群の意）に含まれるカメラの動作状態（パン、ズームの意）を変更する。
　第３７の態様は、第３６の態様のシステムに基づく。第３７の態様では、前記塗装情報取得部（カメラ群の意）は、俯瞰カメラと、局所カメラと、を有し、前記制御コマンドは前記局所カメラの動作状態（パン、ズームの意）を変更する。
　更に、本開示は、下記の第３８～第４１の態様を含む。
　第３８の態様は、撮影方法であって、対象物に対して撮影装置を相対的に変位させるステップと、前記変位前後における前記対象物を撮影した情報に含まれる輝度値情報の変化を取得するステップと、を含む。
　第３９の態様は、第３８の態様の撮像方法に基づく。第３９の態様では、前記撮影装置が前記変位の前に取得した情報を画像情報と定義し、前記画像情報は複数の画素を含み、前記撮像方法は、前記変位前後における前記複数の画素間の輝度値の差分の変化を取得する。
　第４０の態様は、第３９の態様の撮像方法に基づく。第４０の態様では、前記差分は、前記画像情報の第１画素における輝度値と、前記第１画素に隣接する第２画素における輝度値との差である。
　第４１の態様は、第４０の態様の撮像方法に基づく。第４１の態様は、第１画素は、前記画像情報の中でもっとも輝度値の高い画素である。
　本出願は、２０１７年１２月８日に出願されたＵＳ仮出願６２／５９６２４７、２０１８年７月１８日に出願されたＵＳ仮出願６２／６９９９３５、及び２０１８年７月１８日に出願されたＵＳ仮出願６２／６９９９４２に基づく優先権を主張するものであって、これらの出願の全ての内容は、参照することによって本出願の開示の内容に組み込まれる。
　１　　検査システム
　Ｆ１１　取得部
　Ｆ１２　分離部
　Ｆ１３　判定部
　２０　照明システム
　３０　撮像システム
　３１　カメラ（第１カメラ）
　３２　カメラ（第２カメラ）
　４０　塗装システム
　Ｐ１０　第１分離画像（分離画像）
　Ｐ２０　第２分離画像（分離画像）
　Ｐ３０　画像
　Ｐ３０～Ｐ３４　画像（部分画像）
　Ｌ１～Ｌ３　場所
　１００　対象物

Claims (22)

  1. 　対象物の表面の画像を取得する取得部と、
    　前記取得部で取得された前記対象物の表面の画像から得られる、前記対象物の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、前記対象物の表面の色を判定する色判定処理を行う判定部と、
    　を備える、
    　検査システム。
  2. 　前記取得部で取得された画像から、それぞれ前記対象物の表面の画像を表すが、鏡面反射成分と拡散反射成分の比率が互いに異なる複数の分離画像を取得する分離部を更に備え、
    　前記判定部は、前記色判定処理では、前記複数の分離画像に基づいて、前記対象物の表面の色を判定する、
    　請求項１の検査システム。
  3. 　前記取得部は、前記対象物の表面の画像として、前記対象物の表面の一部を表す複数の部分画像を取得し、
    　前記判定部は、前記色判定処理では、前記複数の部分画像から得られる、前記複数の反射状態それぞれにおいて前記対象物の表面の全体を表す画像に基づいて、前記対象物の表面の色を判定する、
    　請求項１又は２の検査システム。
  4. 　前記複数の部分画像は、前記対象物に関する撮像方向が異なる複数のカメラで生成される、
    　請求項３の検査システム。
  5. 　前記対象物の表面に光を照射する照明システムと、
    　前記照明システムによって照らされている前記対象物の表面を撮像して前記対象物の表面の画像を生成する撮像システムと、
    　を更に備え、
    　前記取得部は、前記撮像システムから、前記対象物の表面の画像を取得し、
    　前記照明システムが放射する光の波長と前記撮像システムが検出する光の波長との少なくとも一方は変更可能である、
    　請求項１～４のいずれか一つの検査システム。
  6. 　前記判定部は、前記色判定処理では、前記対象物の表面の目的の色の情報を含む見本データを利用して、前記対象物の表面の色を判定する、
    　請求項１～５のいずれか一つの検査システム。
  7. 　前記見本データは、前記対象物の形状と前記対象物の撮像条件との少なくとも一方を含む、
    　請求項６の検査システム。
  8. 　前記判定部は、前記対象物の表面を塗装する塗装システムを、前記色判定処理の結果に基づいて制御する、
    　請求項１～７のいずれか一つの検査システム。
  9. 　前記対象物の表面を撮像して前記対象物の表面の画像を生成する撮像システムを更に備え、
    　前記取得部は、前記撮像システムから、前記対象物の表面の画像を取得し、
    　前記判定部は、前記取得部で取得された前記対象物の表面の画像に基づいて、前記対象物の表面の塗装状態を判定する塗装判定処理を行い、前記塗装判定処理の結果に応じて前記撮像システムを制御する、
    　請求項１の検査システム。
  10. 　前記判定部は、前記塗装判定処理では、前記取得部で取得された前記対象物の表面の画像から得られる前記表面の塗装状態と前記対象物の表面の目的の塗装状態との差分を求める、
    　請求項９の検査システム。
  11. 　前記撮像システムは、複数のカメラを含み、
    　前記判定部は、前記塗装判定処理の結果に応じて前記撮像システムの前記複数のカメラの動作状態を制御する、
    　請求項９又は１０の検査システム。
  12. 　前記複数のカメラは、前記対象物の表面の一部の画像を生成する１以上の第１カメラと、前記対象物の表面の全体の画像を生成する第２カメラとを含み、
    　前記判定部は、前記塗装判定処理の結果に応じて前記１以上の第１カメラの動作状態を制御する、
    　請求項１１の検査システム。
  13. 　前記判定部は、前記第２カメラで撮像された画像と前記塗装判定処理の結果に応じて前記１以上の第１カメラの動作状態を制御する、
    　請求項１２の検査システム。
  14. 　前記取得部は、異なる場所から前記対象物の表面を撮像して得られた複数の系列画像を取得し、
    　前記判定部は、前記複数の系列画像間の輝度情報の変化に基づいて、前記対象物の表面の質感を判定する質感判定処理を行う、
    　請求項１の検査システム。
  15. 　前記複数の系列画像のうちの少なくとも２つは、同一のカメラの位置を変えて前記対象物の表面を撮像して得られる、
    　請求項１４の検査システム。
  16. 　前記複数の系列画像の各々は複数の画素を含み、
    　前記輝度情報は、前記複数の画素から求まる輝度値の差分を含む、
    　請求項１４又は１５の検査システム。
  17. 　前記差分は、前記複数の画素のうち１以上を含む第１領域の輝度値と、前記第１領域に隣接し前記複数の画素のうちの１以上を含む第２領域の輝度値との差分である、
    　請求項１６の検査システム。
  18. 　前記第１領域は、前記複数の画素のうちの第１画素であり、
    　前記第２領域は、前記複数の画素のうち前記第１画素に隣接する第２画素である、
    　請求項１７の検査システム。
  19. 　前記第１領域は、前記複数の画素で構成される画像において最も明るい領域である、
    　請求項１７又は１８の検査システム。
  20. 　対象物の表面の画像を取得する取得ステップと、
    　前記対象物の表面の画像から得られる、前記対象物の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、前記対象物の表面の色を判定する色判定処理を行う判定ステップと、
    　を含む、
    　検査方法。
  21. 　１以上のプロセッサに、請求項２０の検査方法を実行させるための、
    　プログラム。
  22. 　コンピュータで読み取り可能な非一時的な記憶媒体であって、
    　請求項２１のプログラムを記憶している、
    　記憶媒体。
PCT/JP2018/045094 2017-12-08 2018-12-07 検査システム、検査方法、プログラム、及び、記憶媒体 WO2019112040A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201880078862.2A CN111433574B (zh) 2017-12-08 2018-12-07 检查***、检查方法、程序和存储介质
CN202211609178.7A CN115979424A (zh) 2017-12-08 2018-12-07 检查***、检查方法、程序和存储介质
DE112018006287.2T DE112018006287T5 (de) 2017-12-08 2018-12-07 Inspektionssystem, inspektionsverfahren, programm und speichermedium
JP2019558296A JP7285502B2 (ja) 2017-12-08 2018-12-07 検査システム、及び、検査方法
US16/770,537 US11379968B2 (en) 2017-12-08 2018-12-07 Inspection system, inspection method, program, and storage medium
US17/827,183 US11727554B2 (en) 2017-12-08 2022-05-27 Inspection system, inspection method, program, and storage medium
US18/212,025 US20230334644A1 (en) 2017-12-08 2023-06-20 Inspection system, inspection method, program, and storage medium

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762596247P 2017-12-08 2017-12-08
US62/596,247 2017-12-08
US201862699935P 2018-07-18 2018-07-18
US201862699942P 2018-07-18 2018-07-18
US62/699,935 2018-07-18
US62/699,942 2018-07-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/770,537 A-371-Of-International US11379968B2 (en) 2017-12-08 2018-12-07 Inspection system, inspection method, program, and storage medium
US17/827,183 Continuation US11727554B2 (en) 2017-12-08 2022-05-27 Inspection system, inspection method, program, and storage medium

Publications (1)

Publication Number Publication Date
WO2019112040A1 true WO2019112040A1 (ja) 2019-06-13

Family

ID=66749903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045094 WO2019112040A1 (ja) 2017-12-08 2018-12-07 検査システム、検査方法、プログラム、及び、記憶媒体

Country Status (5)

Country Link
US (3) US11379968B2 (ja)
JP (3) JP7285502B2 (ja)
CN (2) CN111433574B (ja)
DE (1) DE112018006287T5 (ja)
WO (1) WO2019112040A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021165274A1 (en) * 2020-02-21 2021-08-26 Basf Coatings Gmbh Method for assessing a dotting of a surface
US20230001448A1 (en) * 2019-11-27 2023-01-05 3M Innovative Properties Company Robotic repair control systems and methods

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112040A1 (ja) * 2017-12-08 2019-06-13 パナソニックＩｐマネジメント株式会社 検査システム、検査方法、プログラム、及び、記憶媒体
DE102021108563A1 (de) * 2021-04-07 2022-10-13 Dürr Systems Ag Bahnkorrekturverfahren für eine Beschichtungsanlage
WO2023046510A1 (en) * 2021-09-22 2023-03-30 Sony Group Corporation System and method for determining a characteristic of a surface of an object, methods for training a machine-learning model and programmable hardware
CN116297463B (zh) * 2023-05-16 2023-08-01 四川省港奇电子有限公司 一种电源适配器外壳注塑成型检测方法、***及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435773A (ja) * 1990-05-29 1992-02-06 Honda Motor Co Ltd 自動車製造ラインにおける塗装方法
JP2000193601A (ja) * 1998-12-28 2000-07-14 Suzuki Motor Corp 表面欠陥検査装置
JP2005181038A (ja) * 2003-12-18 2005-07-07 Olympus Corp 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法
JP2005291843A (ja) * 2004-03-31 2005-10-20 Daihatsu Motor Co Ltd 検査用照明光源ユニットとこの光源ユニットを用いた表面欠陥検査装置
JP2011505567A (ja) * 2007-12-07 2011-02-24 ビーエーエスエフ ソシエタス・ヨーロピア 特殊効果塗料の光学特性のモデル化およびシミュレーションと分光測色器の照明ジオメトリおよび測定ジオメトリの決定のための方法および装置
WO2011144964A1 (en) * 2010-05-17 2011-11-24 Ford Espana S.L. Inspection system and method of defect detection on specular surfaces
JP2012083239A (ja) * 2010-10-13 2012-04-26 Fujitsu Ltd 塗装表面欠陥検査方法及び塗装表面欠陥検査装置
US20150002653A1 (en) * 2013-06-27 2015-01-01 Hyundai Motor Company Inspection device for painted surface of vehicle
JP2015184184A (ja) * 2014-03-25 2015-10-22 マツダ株式会社 表面質感評価装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072128A (en) * 1989-07-26 1991-12-10 Nikon Corporation Defect inspecting apparatus using multiple color light to detect defects
JPH0581697U (ja) * 1992-03-31 1993-11-05 アンリツ株式会社 外観検査装置
JP3211681B2 (ja) * 1996-01-18 2001-09-25 日産自動車株式会社 塗装欠陥検査装置
JPH09289605A (ja) * 1996-04-23 1997-11-04 Matsushita Electric Ind Co Ltd 撮像装置
US6804390B2 (en) * 2001-02-07 2004-10-12 Basf Corporation Computer-implemented neural network color matching formulation applications
JP3967367B2 (ja) * 2004-12-07 2007-08-29 松下電器産業株式会社 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム
JP2006279228A (ja) * 2005-03-28 2006-10-12 Fuji Xerox Co Ltd 撮像装置
JP5014003B2 (ja) * 2007-07-12 2012-08-29 キヤノン株式会社 検査装置および方法
JP4719284B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 表面検査装置
JP2010122155A (ja) 2008-11-21 2010-06-03 Canon Chemicals Inc 板状体の欠陥検出方法及び欠陥検出装置
EP2585959A4 (en) * 2010-06-25 2015-07-29 Coatings Foreign Ip Co Llc SYSTEM FOR MANUFACTURING AND DISPENSING CORRESPONDING COLORED COATING AND USE THEREOF
JP2012217139A (ja) * 2011-03-30 2012-11-08 Sony Corp 画像理装置および方法、並びにプログラム
JP5900037B2 (ja) 2012-03-08 2016-04-06 オムロン株式会社 画像処理装置およびその制御方法
JP2014240766A (ja) 2013-06-11 2014-12-25 株式会社リケン 表面検査方法および表面検査装置
JP6039109B2 (ja) 2014-01-14 2016-12-07 有限会社パパラボ 着色検査装置および着色検査方法
KR101782542B1 (ko) * 2016-06-10 2017-10-30 주식회사 에이티엠 차량 도장표면 검사시스템 및 검사방법
WO2019112040A1 (ja) * 2017-12-08 2019-06-13 パナソニックＩｐマネジメント株式会社 検査システム、検査方法、プログラム、及び、記憶媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435773A (ja) * 1990-05-29 1992-02-06 Honda Motor Co Ltd 自動車製造ラインにおける塗装方法
JP2000193601A (ja) * 1998-12-28 2000-07-14 Suzuki Motor Corp 表面欠陥検査装置
JP2005181038A (ja) * 2003-12-18 2005-07-07 Olympus Corp 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法
JP2005291843A (ja) * 2004-03-31 2005-10-20 Daihatsu Motor Co Ltd 検査用照明光源ユニットとこの光源ユニットを用いた表面欠陥検査装置
JP2011505567A (ja) * 2007-12-07 2011-02-24 ビーエーエスエフ ソシエタス・ヨーロピア 特殊効果塗料の光学特性のモデル化およびシミュレーションと分光測色器の照明ジオメトリおよび測定ジオメトリの決定のための方法および装置
WO2011144964A1 (en) * 2010-05-17 2011-11-24 Ford Espana S.L. Inspection system and method of defect detection on specular surfaces
JP2012083239A (ja) * 2010-10-13 2012-04-26 Fujitsu Ltd 塗装表面欠陥検査方法及び塗装表面欠陥検査装置
US20150002653A1 (en) * 2013-06-27 2015-01-01 Hyundai Motor Company Inspection device for painted surface of vehicle
JP2015184184A (ja) * 2014-03-25 2015-10-22 マツダ株式会社 表面質感評価装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230001448A1 (en) * 2019-11-27 2023-01-05 3M Innovative Properties Company Robotic repair control systems and methods
WO2021165274A1 (en) * 2020-02-21 2021-08-26 Basf Coatings Gmbh Method for assessing a dotting of a surface

Also Published As

Publication number Publication date
JPWO2019112040A1 (ja) 2020-11-26
JP7285502B2 (ja) 2023-06-02
CN111433574A (zh) 2020-07-17
JP2023085360A (ja) 2023-06-20
CN111433574B (zh) 2023-07-25
US20210166370A1 (en) 2021-06-03
US20230334644A1 (en) 2023-10-19
US11379968B2 (en) 2022-07-05
DE112018006287T5 (de) 2020-10-08
JP2024009912A (ja) 2024-01-23
JP7407408B2 (ja) 2024-01-04
CN115979424A (zh) 2023-04-18
US20220358638A1 (en) 2022-11-10
US11727554B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
WO2019112040A1 (ja) 検査システム、検査方法、プログラム、及び、記憶媒体
JP6038965B2 (ja) 着色検査装置および着色検査方法
JP6039008B2 (ja) 着色評価装置及び着色評価方法
US10026192B2 (en) Color harmony verification system
JP3809838B2 (ja) 照明源固有ｈｓｖ色座標を用いた画像ハイライト補正方法、画像ハイライト補正プログラム、および画像取得システム
BR112016020894B1 (pt) Sistema e método implantado por processador para determinar espessuras de revestimento e meio legível por computador
JP6371237B2 (ja) 着色評価装置および着色評価方法
US8326017B2 (en) Rapid color verification system using digital imaging and curve comparison algorithm
CN112334761A (zh) 缺陷判别方法、缺陷判别装置、缺陷判别程序及记录介质
JP7236612B2 (ja) 検査方法、プログラム、及び、検査システム
CN114812820B (zh) 一种色差检测方法及***
CN115078368A (zh) 色斑评价装置、色斑评价***、色斑评价方法以及存储介质
Park Efficient color representation for image segmentation under nonwhite illumination
JP7515124B2 (ja) 検査方法
TS et al. High dynamic imaging for photometry and graphic arts evaluation
JP2022025236A (ja) 塗色識別装置
Lech et al. Color correction in 3d digital documentation: case study
JP2017153054A (ja) 着色検査装置および着色検査方法
Kawabata et al. One shot photometric stereo from reflectance classification
Nakahata et al. Development of a dynamic relighting system for moving planar objects with unknown reflectance
CN109922196A (zh) 检测***及方法
Sahragard et al. Automatic Spike detection and correction for outdoor machine vision: Application to tomato
JPS62217127A (ja) 色彩別分類法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18885580

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019558296

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18885580

Country of ref document: EP

Kind code of ref document: A1