WO2023233973A1 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
WO2023233973A1
WO2023233973A1 PCT/JP2023/017990 JP2023017990W WO2023233973A1 WO 2023233973 A1 WO2023233973 A1 WO 2023233973A1 JP 2023017990 W JP2023017990 W JP 2023017990W WO 2023233973 A1 WO2023233973 A1 WO 2023233973A1
Authority
WO
WIPO (PCT)
Prior art keywords
solder
inspection
inspected
image data
control unit
Prior art date
Application number
PCT/JP2023/017990
Other languages
English (en)
French (fr)
Inventor
光敏 塩谷
洋介 山本
浩司 篠田
Original Assignee
株式会社サキコーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社サキコーポレーション filed Critical 株式会社サキコーポレーション
Publication of WO2023233973A1 publication Critical patent/WO2023233973A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/30—Assembling printed circuits with electric components, e.g. with resistor
    • H05K3/32—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits
    • H05K3/34—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits by soldering

Definitions

  • the present invention relates to an inspection device.
  • the present invention has been made in view of these problems, and it is an object of the present invention to provide an inspection device that can classify types of solder based on differences in the shape (texture) of coagulated structures appearing on the solder surface of an object to be inspected. purpose.
  • an inspection apparatus includes an imaging section that images an object to be inspected, and a control section, and the control section is configured to control the solder on the object to be inspected by the imaging section.
  • the part is imaged to obtain image data, the feature quantity of the shape of the solidified tissue appearing on the surface of the solder part is extracted from the image data, and the type of solder used in the solder part is determined based on the feature quantity. to classify.
  • the type of solder can be classified based on the difference in the shape (texture) of the solidified structure appearing on the solder surface of the object to be inspected.
  • FIG. 2 is an explanatory diagram for explaining the projection angle of the illumination unit and the detection of its reflected light, in which (a) shows the projection angle of each illumination source of the illumination unit, and (b) shows the state of the inspection surface of the object to be inspected.
  • FIG. 3 is an explanatory diagram for explaining the correspondence between the hue in the HSV color system and the projection angle of the illumination source of the illumination unit.
  • 3 is a flowchart showing the flow of image composition processing.
  • 3 is a flowchart showing the flow of solder type classification processing.
  • the inspection apparatus 10 is an apparatus that inspects an object to be inspected 12 using image data of the object to be inspected obtained by imaging the object to be inspected.
  • the object to be inspected 12 is, for example, an electronic circuit board on which many electronic components are mounted.
  • the inspection device 10 identifies the quality of the mounting state of the electronic component based on the inspected object image data. This inspection is usually performed on a plurality of inspection items for each part. In other words, inspection items are items that require identification of pass/fail.
  • Inspection items include, for example, inspection items for component placement such as missing parts, misalignment, and polarity reversal of the component itself, and inspection items for the connection between the component and the board such as the soldering condition and floating lead pins of the component. is included.
  • the inspection apparatus 10 includes an inspection table 14 for holding an inspection object 12, an imaging unit 20 for illuminating and imaging the inspection object 12, an XY stage 16 for moving the imaging unit 20 with respect to the inspection table 14, and an imaging unit 20 for illuminating and imaging the inspection object 12. It is configured to include a control unit 30 for controlling the unit 20 and the XY stage 16. For convenience of explanation, as shown in FIG. Let the axial direction)) be the Z direction.
  • the imaging unit 20 is attached to a moving table (not shown) of the XY stage 16, and is movable by the XY stage 16 in both the X direction and the Y direction.
  • the XY stage 16 is, for example, a so-called H-shaped XY stage. Therefore, the XY stage 16 includes a Y linear motor that moves the moving table in the Y direction along a Y direction guide extending in the Y direction, and a Y linear motor that supports the Y direction guide at both ends and moves the moving table and the Y direction guide in the X direction. It includes two movable X-direction guides and an X linear motor.
  • the XY stage 16 may further include a Z movement mechanism that moves the imaging unit 20 in the Z direction, or may further include a rotation mechanism that rotates the imaging unit 20.
  • the inspection apparatus 10 may further include an XY stage that allows the inspection table 14 to be moved, and in this case, the XY stage 16 that moves the imaging unit 20 may be omitted.
  • the imaging unit 20 includes a camera unit 21, a half mirror 22, an illumination unit 23, and a projection unit 24.
  • the camera unit 21, the half mirror 22, the illumination unit 23, and the projection unit 24 may be configured as an integrated imaging unit 20.
  • the relative positions of the camera unit 21, half mirror 22, illumination unit 23, and projection unit 24 may be fixed, or each unit may be configured to be relatively movable.
  • the camera unit 21, the half mirror 22, the illumination unit 23, and the projection unit 24 may be separate bodies and configured to be movable separately. In the following description, a case will be described in which the object to be inspected 12 is illuminated using the half mirror 22, but the half mirror 22 may be omitted.
  • the camera unit 21 includes an image sensor that generates two-dimensional image data of a target object, and an optical system (for example, a lens) that forms an image on the image sensor.
  • the camera unit 21 is, for example, a CCD camera.
  • the maximum field of view of the camera unit 21 may be smaller than the test subject placement area of the test table 14. In this case, the camera unit 21 images the entire inspected object 12 by dividing it into a plurality of partial images.
  • the control unit 30 controls the XY stage 16 so that the camera unit 21 is moved to the next imaging position every time the camera unit 21 captures a partial image and outputs partial image data.
  • the control unit 30 synthesizes the partial image data to generate whole image data of the object 12 to be inspected.
  • the camera unit 21 may include an image sensor that generates a one-dimensional image instead of a two-dimensional image sensor. In this case, by scanning the object 12 to be inspected with the camera unit 21, an entire image of the object 12 to be inspected can be acquired.
  • the illumination unit 23 is configured to project illumination light for imaging by the camera unit 21 onto the surface of the object 12 to be inspected.
  • the illumination unit 23 includes one or more light sources that emit light at a wavelength or wavelength range selected from the wavelength range detectable by the image sensor of the camera unit 21.
  • the illumination light is not limited to visible light, and ultraviolet light, X-rays, etc. may also be used.
  • each light source is configured to project light of different wavelengths (for example, red, blue, and green) onto the surface of the object to be inspected 12 at different projection angles.
  • the illumination unit 23 includes an epi-illumination source 23a that projects illumination light perpendicularly to the inspection surface of the inspected object 12 (that is, the surface facing the imaging unit 20 (XY plane)). and a side illumination source (in this embodiment, consisting of an upper light source 23b, a middle light source 23c, and a lower light source 23d) that projects illumination light from an oblique direction onto the inspection surface of the object to be inspected 12.
  • a half mirror 22 is arranged on the optical axis of the optical system of the camera unit 21, and a part of the illumination light emitted from the epi-illumination source 23a is reflected by this half mirror 22 and is reflected on the optical axis.
  • the side illumination sources 23b, 23c, and 23d are ring illumination sources, surround the optical axis of the camera unit 21, and are oblique to the inspection surface of the object 12. It is configured to project illumination light to.
  • Each of these side illumination sources 23b, 23c, and 23d may be configured by a plurality of light sources arranged in an annular shape. Note that the upper light source 23b, intermediate light source 23c, and lower light source 23d, which are side illumination sources, are each configured to project illumination light at different angles to the inspection surface.
  • each of the upper light source 23b, intermediate light source 23c, and lower light source 23d which are side illumination sources, may be configured with one ring illumination source or may include a plurality of ring illumination sources.
  • the epi-illumination source 23a is attached to the side of the camera unit 21, and among the side illumination sources, the upper light source 23b is configured as one ring illumination unit, and the intermediate light source 23c and lower light source 23d are integrated. It can be configured as one ring lighting unit.
  • the epi-illumination source 23a is a red illumination source
  • the upper light source 23b and the lower light source 23d of the side illumination sources are red illumination sources
  • the middle light source 23c of the side illumination sources is a red illumination source.
  • the types (number) of light sources are limited to four. Instead, it may be only the epi-illumination source 23a, a combination of the epi-illumination source 23a and any of the side illumination sources 23b to 23d, or only the side illumination sources 23b to 23d or some of these sources. . Further, any one of the light sources 23a to 23d may be used, and in that case, the configuration may be such that a monochrome image is obtained using a monochromatic light source.
  • the light beam projected from the epi-illumination source 23a, reflected by the inspection surface of the object to be inspected 12, and projected onto the camera unit 21 is indicated by a broken line arrow.
  • the light reflected by the inspection surface of the object to be inspected 12 enters the half mirror 22 , and a part of the light is transmitted and enters the camera unit 21 .
  • the projections from the side illumination sources 23b, 23c, 23d and the projection unit 24 are similarly indicated by broken arrows, and as an example, the projections from the upper light source 23b are reflected on the inspection surface of the object 12 to be inspected and the camera
  • the luminous flux incident on the unit 21 is also shown.
  • the surface of the object to be inspected 12 is illustrated as a flat surface for convenience of explanation, but in reality, like a general object to be inspected, it has slopes and heights depending on the portion.
  • the projection unit 24 projects the pattern onto the inspection surface of the object 12 to be inspected.
  • the inspected object 12 onto which the pattern has been projected is imaged by the camera unit 21 .
  • the projection unit 24 is provided between the upper light source 23b and the intermediate light source 23c, but the arrangement of the projection unit 24 is not limited to this.
  • the projection unit 24 may be arranged outside the lower light source 23d.
  • a unit 24 may also be provided.
  • the inspection device 10 creates a height map of the inspection surface of the object to be inspected 12 based on the pattern image data of the object to be inspected 12 imaged with the pattern projected from the projection unit 24.
  • the control unit 30 detects a local mismatch between the pattern image and the projected pattern, and determines the height of the region based on the local mismatch.
  • a change in the imaging pattern a pattern projected onto the object to be inspected 12 and imaged by the camera unit 21
  • a projection pattern a pattern projected onto the object to be inspected 12 from the projection unit 24
  • the projection pattern is preferably a one-dimensional striped pattern in which bright lines and dark lines are alternately and periodically repeated.
  • the projection unit 24 is arranged to project a striped pattern onto the inspection surface of the object 12 to be inspected from an oblique direction. Discontinuity in height on the inspection surface of the object to be inspected 12 appears as a pattern shift in the striped pattern image. Therefore, the height difference can be determined from the amount of pattern shift.
  • the control unit 30 creates a height map using a PMP (Phase Measurement Profilometry) method that uses a striped pattern whose brightness changes according to a sine curve. In the PMP method, the amount of shift of the striped pattern corresponds to the phase difference of the sine curve.
  • PMP Phase Measurement Profilometry
  • the projection unit 24 includes a pattern forming device, a light source for illuminating the pattern forming device, and an optical system for projecting the pattern onto the inspection surface of the object 12 to be inspected.
  • the pattern forming device may be, for example, a variable patterning device that can dynamically generate a desired pattern, such as a liquid crystal display, or a fixed patterning device, in which a pattern is fixedly formed on a substrate such as a glass plate. It may be a device.
  • the pattern forming device is a fixed patterning device, the projection position of the pattern can be made variable by providing a moving mechanism for moving the fixed patterning device or by providing an adjustment mechanism in the optical system for pattern projection. preferable.
  • the projection unit 24 may be configured to be able to switch between a plurality of fixed patterning devices having different patterns.
  • a plurality of projection units 24 may be provided around the camera unit 21.
  • the plurality of projection units 24 are arranged to project patterns onto the object to be inspected 12 from different projection directions. In this way, it is possible to reduce the area where a pattern is not projected due to a shadow caused by a height difference on the inspection surface.
  • the control unit 30 shown in FIG. 1 controls the entire device in an integrated manner, and is implemented as hardware using a CPU, memory, or other LSI of an arbitrary computer, and as software, it is implemented using a CPU, memory, or other LSI of an arbitrary computer. It is realized by programs, etc., but here we depict the functional blocks realized by their cooperation. Therefore, those skilled in the art will understand that these functional blocks can be implemented in various ways using only hardware, only software, or a combination thereof.
  • FIG. 1 shows an example of the configuration of the control unit 30.
  • the control unit 30 includes an inspection control section 31 and a memory 35 which is a storage section.
  • the inspection control section 31 includes a height measurement section 32, an inspection data processing section 33, and an inspection section 34.
  • the inspection device 10 also includes an input section 36 for receiving input from a user or another device, and an output section 37 for outputting information related to the inspection. are each connected to the control unit 30.
  • the input unit 36 includes, for example, input means such as a mouse and keyboard for receiving input from a user, and communication means for communicating with other devices.
  • the output unit 37 includes known output means such as a display and a printer.
  • the inspection control unit 31 is configured to execute various control processes for the inspection based on input from the input unit 36 and inspection-related information stored in the memory 35.
  • the inspection related information includes two-dimensional image data of the object to be inspected 12, a height map of the object to be inspected 12, and board inspection data (inspection data).
  • the inspection data processing unit 33 creates board inspection data using the two-dimensional image data and height map of the inspected object 12, which is guaranteed to pass all inspection items.
  • the inspection unit 34 executes an inspection based on the already created board inspection data and the two-dimensional image data and height map of the object 12 to be inspected.
  • Board inspection data is inspection data created for each type of board.
  • the board inspection data is, so to speak, a collection of inspection data for each component mounted on the board.
  • the inspection data for each part includes inspection items necessary for the part, an inspection window that is an inspection area on an image for each inspection item, and an inspection standard that is a standard for specifying pass/fail for each inspection item.
  • One or more inspection windows are set for each inspection item. For example, in an inspection item that specifies the quality of soldering of a component, the same number of inspection windows as the number of soldering regions of the component are usually set in an arrangement corresponding to the arrangement of the soldering regions. Furthermore, for inspection items that use image data obtained by subject image data subjected to predetermined image processing, the details of the image processing are also included in the inspection data.
  • the inspection data processing unit 33 sets each item of inspection data according to the board as a board inspection data creation process. For example, the inspection data processing unit 33 automatically sets the position and size of each inspection window for each inspection item to match the component layout of the board.
  • the test data processing unit 33 may accept user input for some items of the test data. For example, the inspection data processing unit 33 may accept tuning of inspection standards by the user.
  • the inspection criteria may be set using height information.
  • the inspection control unit 31 executes imaging processing of the inspected object 12 as pre-processing for creating board inspection data.
  • the object 12 to be inspected is one that passes all inspection items.
  • the imaging process involves controlling the relative movement between the imaging unit 20 and the inspection table 14 while illuminating the inspection object 12 with the illumination unit 23, sequentially capturing partial images of the inspection object 12, and generating partial image data. This is done by obtaining the .
  • a plurality of partial image data are captured so that the entire inspected object 12 is covered.
  • the inspection control unit 31 synthesizes these plurality of partial image data and generates full board image data including the entire inspection surface of the object 12 to be inspected.
  • the inspection control unit 31 stores the entire board image data in the memory 35.
  • the inspection control unit 31 controls the relative movement of the imaging unit 20 and the inspection table 14 while projecting a pattern onto the inspection object 12 using the projection unit 24 as pre-processing for creating a height map.
  • the pattern image of the body 12 is divided and sequentially imaged to obtain divided image data when the pattern is projected.
  • the projected pattern is preferably a striped pattern whose brightness changes according to a sine curve based on the PMP method.
  • the inspection control unit 31 combines the divided image data obtained by imaging and generates pattern image data that is image data of the entire inspection surface of the object 12 to be inspected.
  • the inspection control unit 31 stores pattern image data in the memory 35. Note that pattern image data may be generated for a part of the inspection surface instead of the entire inspection surface.
  • the height measurement unit 32 creates a height map of the entire inspection surface of the object to be inspected 12 based on the captured pattern of the pattern image data.
  • the height measuring unit 32 first obtains a phase difference map of the inspection surface of the object to be inspected 12 by obtaining a local phase difference between the pattern image data and the reference pattern image data for the entire image.
  • the reference pattern image data is a pattern image projected by the projection unit 24 (that is, image data generated by a pattern forming device built into the projection unit 24).
  • the height measuring unit 32 creates a height map of the object to be inspected 12 based on a reference plane serving as a reference for height measurement and a phase difference map.
  • the reference plane is, for example, the substrate surface of an electronic circuit board to be inspected.
  • the reference surface does not necessarily have to be a flat surface, and may be a curved surface that reflects deformation such as warpage of the substrate.
  • the reference plane may be specified in advance by a user's input or the like, or may be determined for each individual substrate by, for example, a substrate surface height measurement method described later.
  • the height measurement unit 32 determines the phase difference between the striped pattern between each pixel of the captured pattern image data and the pixel of the reference pattern image data corresponding to the pixel.
  • the height measurement unit 32 converts the phase difference into height. Conversion to height is performed using the local stripe width in the vicinity of the pixel. This is to interpolate the fact that the stripe width on the captured pattern image data differs depending on the location. Since the distance from the projection unit 24 differs depending on the position on the inspection surface, even if the stripe width of the reference pattern is constant, the stripe width changes linearly from one end of the pattern projection area on the inspection surface to the other end. This is because The height measuring unit 32 calculates the height from the reference plane based on the converted height and the reference plane, and creates a height map of the object 12 to be inspected.
  • the inspection control unit 31 creates inspected object image data having a height distribution by associating height information included in the height map of the inspected object 12 with each pixel of the two-dimensional image of the inspected object 12. It's okay. Furthermore, the inspection control unit 31 may perform a three-dimensional modeling display of the subject 12 based on the subject image data with height distribution. Further, the inspection control unit 31 may display the two-dimensional image data of the inspected object on the output unit 37 by superimposing the height distribution. For example, the image data of the object to be inspected may be displayed in different colors depending on the height distribution. Note that in the inspection apparatus 10 according to the present embodiment, the projection unit 24 and the process of measuring the height of the object to be inspected 12 by the projection unit 24 do not need to be implemented.
  • the light sources (the epi-illumination source 23a, and the upper light source 23b, intermediate light source 23c, and lower light source 23d, which are side illumination sources) that constitute the illumination unit 23 are as follows. , as shown in FIG. 2(a), different projections are applied to the reference plane of the inspected object 12 (the inspection surface of the inspected object 12, which is substantially parallel to the installation surface of the inspection device 10). arranged at an angle.
  • the illumination light from the epi-illumination source 23a is projected along the optical axis L of the optical system of the camera unit 21, that is, approximately perpendicular to the reference plane, and
  • the light source 23c and the lower light source 23d are projected in this order so that the projection angle approaches the horizontal direction.
  • the intensity of the light other than the light reflected by the inspected object 12 and directly entering the camera unit 21 is ideally becomes 0, that is, the angle (tilt state) of the inspection surface of the inspection object 12 with respect to the reference plane and the light reflected from this inspection surface among the light sources 23a to 23d of the illumination unit 23 directly reach the camera unit 21.
  • the intensity of the reflected light from the incident light source increases, and the intensity of the reflected light from other light sources becomes zero. For example, if solder having the cross section shown in FIG.
  • the image sensor of the camera unit 21 will detect the solder according to the angle of the solder surface with respect to the reference plane.
  • the intensity of the reflected light of the illumination light from each of the light sources 23a to 23d of the illumination unit 23 changes.
  • the intensity of the reflected light from the epi-illumination source 23a increases on the inclined surface at an angle of 0° to 15° with respect to the reference plane, and the intensity of the reflected light from the epi-illumination source 23a increases on the inclined surface at an angle of 15° to 45° with respect to the upper light source 23b.
  • the intensity of the reflected light from the intermediate light source 23c increases on the inclined surface of 45° to 65°, and the intensity of the reflected light of the light from the intermediate light source 23c increases on the inclined surface of 65° to 85°.
  • the structure is configured such that the intensity of the reflected light from the light increases. Note that the relationship between each of the light sources 23a to 23d of the illumination unit 23 and the angle of the inclined surface of the object to be inspected 12 is an example, and the configuration is not limited to this.
  • hue H is expressed by the angle of a circle, saturation S, and brightness V. are expressed by the magnitude in directions perpendicular to each other. Further, in this hue H, R (red), G (green), and B (blue) are located at positions 120° apart from each other. Therefore, in this embodiment, image data obtained by reflecting light projected from the upper light source 23b, that is, image data obtained by detecting reflected light from an inclined surface of 15° to 45° (in FIG. 3, " Image data obtained by reflecting light projected from the intermediate light source 23c, that is, an image obtained by detecting reflected light from an inclined surface of 45° to 65°.
  • the data (referred to as "Side” in FIG. 3) is assigned to G (green), and the image data obtained by the reflected light projected from the lower light source 23d, that is, the reflection from the inspection surface at 65° to 85°.
  • the RGB image data color image data
  • image data expressed in RGB can be obtained depending on the state, the inclination state of the inspection surface of the object 12 to be inspected can be understood from the color of this image data.
  • the color of the illumination light emitted from each of the light sources 23a to 23d of the illumination unit 23 and the color to which the image data obtained by imaging the reflected light from each of these light sources 23a to 23d are assigned RGB
  • the image sensor of the camera unit 21 does not need to be color (light (It is sufficient to detect the intensity of Note that in the generation of RGB image data (color image data), differences in intensity are expressed by saturation S or brightness V.
  • the light sources 23a to 23d may be turned on sequentially to take an image of the subject 12 with the camera unit 21, or the camera unit 21 may be configured with a camera capable of acquiring color image data, and the light sources 23a to 23d may be turned on sequentially. 23d may be turned on at the same time to capture an image of the object to be inspected 12 at once.
  • R (red) component image data, G (green) component image data, and B (blue) component image data can be obtained from one piece of color image data.
  • Image synthesis process of the inspection control section 31 of the control unit 30 will be explained using FIG. 4.
  • the XY stage 16 is controlled by the inspection control unit 31, and image data (hereinafter referred to as "Coaxis image") of the inspection surface of the inspection object 12 when illuminated by the epi-illumination source 23a is obtained.
  • image data when illuminated by the upper light source 23b hereinafter referred to as “Top image”
  • image data when illuminated by the intermediate light source 23c hereinafter referred to as “Side image”
  • Lower image data when illuminated by the light source 23d hereinafter referred to as "Low image” is acquired, and the intensity of each pixel is stored in the memory 35.
  • the image data obtained by capturing the inspection surface of the inspection object 12 is composed of M ⁇ N pixels (M and N are positive integers).
  • the storage area of the image data (Coaxis image) of the epi-illumination source 23a for pixel (i, j) be Ac (i, j)
  • the storage area of the image data (Top image) of the upper light source 23b be At (i, j).
  • the storage area of the image data (Side image) of the intermediate light source 23c is As(i,j)
  • the storage area of the image data (Low image) of the lower light source 23d is Al(i,j).
  • the storage area of the image data of the R (red) component generated by the following process is set as Br(i,j)
  • the storage area of the image data of the G (green) component is set as Bg(i,j)
  • the storage area of the image data of the G (green) component is set as Bg(i,j).
  • the inspection control section 31 of the control unit 30 stores the storage area of the RGB component image data. Br(i,j), Bg(i,j), and Bb(i,j) are cleared (step S100).
  • a variable i that counts the pixels of the image data in the column direction is set to 0 (step S102)
  • a variable j that counts the pixels of the image data in the row direction is set to 0 (step S104)
  • the pixels The intensity of the Coaxis image (Ac(i,j)) at i,j) and the intensity of the Top image (At(i,j)) are compared (step S106), and the intensity of the Coaxis image is higher than the intensity of the Top image.
  • the value of the intensity of the Coaxis image is stored as the value of the pixel (i, j) of the image data of the R component (the value of Ac (i, j) is set to Br (i, j)) ( Step S108), when the intensity of the Top image is less than or equal to the intensity of the Coaxis image, the intensity value of the Top image is stored as the value of pixel (i, j) of the image data of the R component (Br (i, j)). setting the value of At(i,j)) (step S110).
  • the intensity of the Coaxis image (Ac(i,j)) and the intensity of the Low image (Al(i,j)) at pixel (i, j) are compared (step S112), and it is determined that the intensity of the Coaxis image is higher.
  • the intensity value of the Coaxis image is stored as the value of pixel (i, j) of the B component image data (the value of Ac (i, j) is set to Bb (i, j)).
  • step S114 when the intensity of the Low image is less than or equal to the intensity of the Coaxis image, the intensity value of the Low image is stored as the value of pixel (i, j) of the B component image data (Bb( i, j) to set the value of Al(i, j)) (step S116).
  • the intensity (As(i,j)) of the Side image at pixel (i,j) is stored as the value of pixel (i,j) of the image data of the G component (As(i,j) is , j) (step S118).
  • step S120 1 is added to the variable j (step S120), and it is determined whether the value of this variable j is smaller than N (step S122). If it is smaller than N, the process returns to step S106 and the above process is repeated. Furthermore, when it is determined in step S122 that the value of variable j is greater than or equal to N, 1 is added to variable i (step S124), and it is determined whether the value of variable i is smaller than M (step S126). , M, the process returns to step S104 and repeats the above process.
  • the intensity of the reflected light cannot be detected unless the projection angle of each light source 23a to 23d of the illumination unit 23 and the tilt state of the inspection surface of the object to be inspected 12 are directly input to the camera unit 21.
  • light that is caused by the light reflected on the inspection surface being reflected at other locations on the inspection surface of the object to be inspected 12 enters the camera unit 21 and is detected.
  • R red
  • Top the slope of 15° to 45°
  • B blue color
  • Low Representing an inclination of 65° to 85°.
  • the intensity of the Coaxis image (Ac(i, j)) is larger than the intensity of the Top image (At(i, j)) and the intensity of the Low image (Al(i, j)).
  • the intensity of this Coaxis image is set as the values of R image data and B image data (Br (i, j) and Bb (i, j)) at the relevant pixel (i, j)
  • the relevant light becomes It can be determined that this is the angle at which the reflected light from the epi-illumination source 23a enters the camera unit 21 (inclination of 0° to 15°), and the hue H can be expressed as purple.
  • the inspection surface corresponding to the pixel is at an angle at which the reflected light from the upper light source 23b directly enters the camera unit 21 (15° to 45°
  • the inspection surface for the pixel is the same as the reflected light from the lower light source 23d. It can be determined that this is the angle at which the light is directly incident on the camera unit 21 (the angle is 65° to 85°), and the configuration is such that the hue H is expressed as blue.
  • the angle of the inspection surface will be at the boundary between the inclined state (45° to 65°) corresponding to Side and the inclined state (65° to 85°) corresponding to Low. It is also yellow when the tilt angle is nearby, so it is difficult to distinguish the tilt state, but the hue H corresponding to Coaxis is purple, which is between R (red) and B (blue), which are the farthest tilt angle range. By doing so, the tilt state can be clearly determined. Similarly, by using purple, the influence of secondary reflection can also be eliminated.
  • the angle of the hue H can be expressed as RGB image data.
  • a change in color corresponds to a change in the angle of the inspection surface (for example, when the angle of the inspection surface changes from 0° ⁇ 30° ⁇ 55° ⁇ 75°, the corresponding part of the RGB image The color of the pixel changes from purple to red to green to blue), making it possible to intuitively understand the state of inclination of the inspection surface.
  • the hue H changes according to the angle of the hue H as described above.
  • the change is not continuous or changes suddenly, it can express the possibility that the inspection surface is abnormal (the height of the inspection surface is abnormal).
  • the inclination state (angle) of the inspection surface from the change in hue H in the RGB image data, it can be used as a material for measuring the height of the inspection surface.
  • the object to be inspected using such RGB image data is not limited to the solder surface described above, and can also be applied to the shape of the tip of an IC lead or the shape of a chip electrode.
  • the object to be inspected 12 is an electronic circuit board or the like, the types of solder used to attach electronic components to the electronic circuit board and the classification method thereof will be explained.
  • solder is an alloy whose main components are lead and tin.
  • a fine lamellar eutectic structure of lead and tin is formed, and its surface is smooth. The unevenness becomes smaller.
  • so-called “lead-free solder” in which silver, copper, and other metals are blended instead of lead in order to reduce the lead content, coarse dendrites form primary crystals during solidification. appears first, and a eutectic structure is formed in the gap.
  • the shape, size, and number of irregularities vary depending on the metals mixed in the solder and their proportions.
  • the shape of the solidified structure appearing on the solder surface (the shape (texture) of the surface of solidified solder) is smooth or rough, and if it is rough, the shape, size, and number of the unevenness determines whether the solder is used The types of solder used can be classified.
  • RGB image data is generated in which the angle of the inspection surface is expressed by different color information.
  • color image data the type of solder used can be classified from the image data of the solder surface obtained using this RGB image data. The method of classifying the types of solder will be explained below.
  • the control unit 30 reads RGB image data including the solder portion from the memory 35 (step S200).
  • the board inspection data includes information on the inspection window, which is the inspection area on the image for each inspection item, and from this information, the position of the solder part on the object to be inspected 12 can be identified. can do. Alternatively, the position of the solder can also be specified from the design data of the object to be inspected 12.
  • the control unit 30 performs HSV conversion on the read RGB image data and obtains three-axis values of H (chromaticity), S (chroma), and V (luminance) (step S202).
  • the chromaticity information represents the amount of inclination of the solder portion, which reflects the macroscopic uneven surface shape of the solder portion. Therefore, the control unit 30 obtains characteristics of graininess (size, shape, number, etc. of unevenness (particles)) by labeling the chromaticity distribution using the triaxial values obtained from the RGB image data. Step S204).
  • the saturation information is a continuous quantity corresponding to the diffuse reflection property of the surface of the solder portion, and reflects the microscopic surface roughness state of the solder portion. Specifically, when there is a lot of diffuse reflection, the saturation is close to 0, and when there is a lot of total reflection and specular reflection, the saturation is 100%, reflecting the microscopic surface roughness. Therefore, the control unit 30 obtains the feature amount (smooth or rough) of the surface smoothness from the saturation using the three-axis values obtained from the RGB image data (step S206).
  • control unit 30 compares the feature amounts obtained in steps S204 and S206 with, for example, the special amount map shown in FIG. 6, classifies the solder type (step S208), and ends the solder type classification process.
  • FIG. 6 shows a case where the type of solder is classified based on the number of particles, particle size, and surface smoothness as feature quantities.
  • Contour Match which is an algorithm that inspects a specific area within an image, can be used to classify the type of solder.
  • This contour matching is a method of enclosing the contours of consecutive pixels (regions) that meet conditions and measuring and inspecting their number, area, and contour length. If you binarize an image and find the area of unevenness, the value will be the same whether the target pixels are scattered or clustered, whereas this contour matching method cannot capture areas that are clusters of pixels. Therefore, the shape (texture) of the solder surface can be expressed accurately.
  • RGB image data is converted into HSV and used, so that the accuracy of the above-mentioned feature amount can be improved. Note that solder can also be classified using original RGB image data that has not been subjected to HSV conversion.
  • the coagulation tissue has roughness finer than the resolution of the camera unit 21 and is in a satin-like state
  • diffusely reflected light will be imaged.
  • the RGB values depending on the angle of illumination are not clearly separated, and an image is captured in which the respective illuminations are mixed together.
  • it is difficult to extract the granular outline itself it is possible to obtain the characteristic that there are irregularities finer than the resolution of the camera unit 21.
  • class classification can be performed using machine learning such as deep learning. Specifically, by creating an AI model by learning HSV-converted RGB image data for each type of solder in a pre-selected image area, the image of the solder part is determined based on this AI model during inspection. The type of solder can be classified from the data (image data obtained by converting RGB image data to HSV). By using an AI model, there is no need to adjust parameters for classification processing. Note that classification can also be performed using original RGB image data that has not been subjected to HSV conversion.
  • the classification of the type of solder used on the object to be inspected 12 is not only determined based on one solder part, but also by performing the above-mentioned classification process on multiple solder parts of the object to be inspected 12.
  • the classified type of solder may be classified as the type of solder used in the object to be inspected 12.
  • HSV-converted RGB image data (specifically, image data whose color corresponds to the angle of the solder part) is obtained from image data obtained by irradiating the inspected object 12 with illumination light from different angles.
  • the camera unit 21 it is desirable to arrange the camera unit 21 in a state where the optical axis of the lens of the camera unit 21 and the solder surface are as close to perpendicular to each other in terms of classification of solder types. Therefore, in addition to the camera unit 21 mentioned above (this will be referred to as the "main camera”), a sub-camera that images the inspected object 12 from an angle different from that of the main camera is provided.
  • the configuration may be such that RGB image data is acquired according to the angle of the image.
  • This sub-camera can be placed, for example, at the position of the projection unit 24 in FIG. 1.
  • the main camera may image the solder on which no components are mounted, and the sub camera may image the angled good solder.
  • the inspection apparatus 10 In the inspection apparatus 10 according to the present embodiment, a certain degree of field of view is required in order to inspect the soldering state and the mounting state of components, and as a result, the resolution of the camera unit 21 becomes low.
  • image data is obtained by irradiating the object 12 to be inspected with illumination light from different angles, and RGB image data in which the angle and color of the solder portion correspond to each other is generated from these image data.
  • the camera unit 21 has the resolution necessary to capture some global characteristics. For example, in order to capture a 20 ⁇ m tissue, a resolution of 2 ⁇ m, which is 1/10 of that, is generally required, but according to the method of this application, a resolution of 5 to 30 ⁇ m is sufficient to capture the big picture. It is. Further, by widening the field of view of the camera unit 21, the inspection speed of the object to be inspected 12 can be improved.
  • the process of inspecting the solder portion of the object to be inspected 12 which is executed by the inspection apparatus 10 according to the present embodiment, will be described. Note that the inspection of the object 12 to be inspected by the inspection apparatus 10 not only inspects the solder portion but also inspects the quality of the mounting state of electronic components, but in the following explanation, only the inspection of the solder portion will be explained.
  • the control unit 30 of the inspection apparatus 10 transports the object to be inspected 12 passed from the upstream process of the inspection apparatus 10 into the inspection area (step S300). Furthermore, the control unit 30 moves the imaging unit 20 using the XY stage 16 to image the recognition mark on the object to be inspected 12 (step S301). The position of the board can be accurately determined by the recognition mark, and the position of the solder can be accurately specified in subsequent processing.
  • control unit 30 moves the imaging unit 20 using the XY stage 16 to image a solder portion to be used for classifying the type of solder on the object to be inspected 12 (step S302).
  • the control unit 30 moves the imaging unit 20 using the XY stage 16 to image a solder portion to be used for classifying the type of solder on the object to be inspected 12 (step S302).
  • the control unit 30 uses the image data to execute the above-described solder type classification process, and determines whether the solder part is being used on the object 12 currently being inspected.
  • the type of solder present is classified (step S303).
  • the control unit 30 compares the solder type classified in step S303 with the solder type specified in the design data and board inspection data (step S304).
  • control unit 30 determines that the type of solder used is correct (same as the type of solder specified in the design data and board inspection data) (step S304: "Y")
  • the control unit 30 30 images other areas on the object to be inspected 12 (step S305), inspects the state of soldering in each area (step S306), and when the inspection of all solder parts is completed, the object to be inspected 12 is carried out to the next process (step S307), and the process returns to step S300 to inspect the next inspected object 12.
  • step S304 if the control unit 30 determines that the type of solder used is incorrect (different from the type of solder specified in the design data or board inspection data) (step S304: "N") ), the control unit 30 outputs a warning using the output unit 37 or the like (step S308), and temporarily ends the inspection process.
  • a warning is output, a worker or the like takes out the object to be inspected 12 from the inspection device 10 and checks the type of solder, etc.
  • the first inspection method it is possible to classify the type of solder used in the inspected object 12 from the image of the solder part, and it is possible to classify the type of solder used in the inspected object 12 from the image of the solder part. Since a warning can be issued when the solder type is different from the solder type, the type of solder used in the object to be inspected 12 can be managed.
  • control unit 30 When the inspection is started, the control unit 30 carries the inspected object 12 passed from the upstream process of the inspection device 10 into the inspection area (step S320). Furthermore, the control unit 30 moves the imaging unit 20 using the XY stage 16 to image the recognition mark on the object to be inspected 12 (step S321). The position of the board can be accurately determined by the recognition mark, and the position of the solder can be accurately specified in subsequent processing.
  • control unit 30 moves the imaging unit 20 using the XY stage 16 to image a solder portion to be used for classifying the type of solder on the object to be inspected 12 (step S322). Similar to the first inspection method, it is possible to specify the position of the solder from the design data of the object to be inspected 12 and the board inspection data, and based on this information, images of the solder part can be efficiently acquired. can do.
  • the control unit 30 uses the image data to execute the above-described solder type classification process, and determines whether the solder part is being used on the object 12 currently being inspected.
  • the type of solder present is classified (step S323).
  • the control unit 30 reads inspection parameters corresponding to the classified solder type (step S324).
  • a case will be specifically described in which one of two types of solder, A and B, is used (the types of solder are not limited to two types).
  • the control unit 30 determines that the type of solder is "A” (step S324: "type A"), it reads inspection parameters for solder type A from the memory 35 or the like (step S325).
  • the control unit 30 determines that the type of solder is "B” (step S324: “type B"), it reads inspection parameters for solder type B from the memory 35 or the like (step S326).
  • control unit 30 After reading the inspection parameters, the control unit 30 images other areas on the object to be inspected 12 (step S327), and performs soldering in each area using the inspection parameters read in step S325 or step S326 described above. The state is inspected (step S328), and when all solder parts have been inspected, the inspected object 12 is carried out to the next process (step S329), and the process returns to step S320 to inspect the next inspected object 12. conduct.
  • the type of solder used in the inspected object 12 can be classified from the image of the solder part, and the soldering state can be determined according to the classified type of solder.
  • the test parameters can be read and the board test data can be switched based on the test parameters, so it is possible to perform an appropriate test depending on the type of solder used.
  • This third inspection method is a method of classifying the types of solder, generating board inspection data according to the type of solder used, and performing the inspection.
  • the control unit 30 reads the design data of the object 12 to be inspected from the memory 35 (step S340). Furthermore, the control unit 30 transports the object to be inspected 12 passed from the upstream process of the inspection apparatus 10 into the inspection area (step S341). Furthermore, the control unit 30 moves the imaging unit 20 using the XY stage 16 to image the recognition mark on the object to be inspected 12 (step S342). The position of the board can be accurately determined by the recognition mark, and the position of the solder can be accurately specified in subsequent processing.
  • control unit 30 moves the imaging unit 20 using the XY stage 16 to image the solder portion used for classifying the type of solder on the object to be inspected 12 (step S343). Similar to the first and second inspection methods, it is possible to specify the position of the solder from the design data of the inspected object 12 and the board inspection data, and based on this information, it is possible to efficiently inspect the solder part. Image can be obtained.
  • the control unit 30 uses the image data to execute the above-described solder type classification process, and determines whether the solder part is being used on the object 12 currently being inspected.
  • the type of solder present is classified (step S344).
  • the control unit 30 reads the inspection library corresponding to the type of solder according to the classified type of solder (step S345).
  • a case will be specifically described in which one of two types of solder, A and B, is used (the types of solder are not limited to two types).
  • control unit 30 determines that the type of solder is "A” (step S345: “type A"), it reads the inspection library for solder type A from the memory 35 or the like (step S346). Furthermore, when the control unit 30 determines that the type of solder is "B” (step S345: “type B"), it reads the inspection library for solder type B from the memory 35 or the like (step S347).
  • control unit 30 After reading the inspection library, the control unit 30 images other areas on the object to be inspected 12 (step S348), and combines the design data read in step S340 and the inspection library read in step S346 or step S347. An inspection library is developed for each mounted component based on the design data (step S349). Then, the control unit 30 inspects the soldering state in each area using the expanded inspection library (step S350), and when the inspection of all solder parts is completed, the inspected object 12 is sent to the next process. After unloading (step S351), the process returns to step S340 to inspect the next object 12 to be inspected.
  • the type of solder used in the object to be inspected 12 can be classified from the image of the solder part, and the inspection library can be created according to the classified type of solder. It is possible to expand the inspection library and inspect the quality of the soldering and electronic component mounting conditions based on this inspection library. Therefore, inspection data can be generated according to the type of solder used in the object to be inspected 12, so that an appropriate inspection can be performed according to the type of solder used.
  • FIG. 10 a fourth solder inspection method will be described using FIG. 10.
  • the inspection library was developed according to the type of solder being used, but in the fourth inspection method, in combination with the first inspection method, the inspection library was developed based on the type of solder that is not planned to be used. This is a case where the configuration is such that the inspection process is interrupted when it is classified as ⁇ existence''.
  • the control unit 30 reads the design data of the object 12 to be inspected from the memory 35 (step S360). Furthermore, the control unit 30 transports the object to be inspected 12 passed from the upstream process of the inspection apparatus 10 into the inspection area (step S361). Then, the control unit 30 moves the imaging unit 20 using the XY stage 16 to image the recognition mark on the object to be inspected 12 (step S362). The position of the board can be accurately determined by the recognition mark, and the position of the solder can be accurately specified in subsequent processing.
  • control unit 30 moves the imaging unit 20 using the XY stage 16 to image the solder portion used for classifying the type of solder on the object to be inspected 12 (step S363).
  • the first inspection method it is possible to specify the position of the solder from the design data of the object to be inspected 12 and the board inspection data, and based on this information, it is possible to efficiently create an image of the solder part. can be obtained.
  • the control unit 30 uses the image data to execute the above-described solder type classification process, and determines whether the solder part is being used on the object 12 currently being inspected.
  • the type of solder present is classified (step S364). Further, the control unit 30 determines whether the solder type classified in step S364 is a known solder type (solder type that may be set in design data or board inspection data). (Step S365). Specifically, when the control unit 30 determines that the type of solder used is known (step S365: "Y"), the control unit 30 creates an inspection library according to the classified type of solder.
  • the design data is read from the memory 35 (step S366), other areas on the object to be inspected 12 are imaged (step S367), and the design data is read using the design data read in the above-mentioned step S360 and the inspection library read in step S366. Based on this, an inspection library is developed for each mounted component (step S368). Then, the control unit 30 inspects the soldering state in each area based on the expanded inspection library (step S369), and when the inspection of all solder parts is completed, the inspected object 12 is transferred to the next process. (Step S370), and the process returns to Step S360 to inspect the next object 12 to be inspected.
  • step S365 determines in step S365 that the type of solder used is not known (step S365: "N")
  • the control unit 30 outputs a warning using the output unit 37 or the like (Ste S371), the inspection process is temporarily ended.
  • a warning is output, a worker or the like takes out the object to be inspected 12 from the inspection device 10 and checks the type of solder, etc.
  • the type of solder used in the object to be inspected 12 can be classified from the image of the solder part, and a warning can be issued if the type of solder is not a known type. Therefore, the type of solder used in the object to be inspected 12 can be managed. Furthermore, since the inspection library can be set according to the type of solder, appropriate inspection can be performed according to the type of solder used.
  • the fifth solder inspection method will be described using FIG. 11.
  • the second inspection method inspection parameters were read according to the type of solder being used, and the board data was switched based on these parameters to inspect the soldering condition, but the fifth inspection method This is a case in which, in combination with the first inspection method, the inspection process is interrupted when the type of solder is classified as a type that is not scheduled to be used.
  • control unit 30 transports the object to be inspected 12 passed from the upstream process of the inspection apparatus 10 into the inspection area (step S380). Furthermore, the control unit 30 moves the imaging unit 20 using the XY stage 16 to image the recognition mark on the object to be inspected 12 (step S381). The position of the board can be accurately determined by the recognition mark, and the position of the solder can be accurately specified in subsequent processing.
  • control unit 30 moves the imaging unit 20 using the XY stage 16 to image the solder portion used for classifying the type of solder on the object to be inspected 12 (step S382). Similar to the first inspection method, it is possible to specify the position of the solder from the design data of the object to be inspected 12 and the board inspection data, and based on this information, images of the solder part can be efficiently acquired. can do.
  • the control unit 30 uses the image data to execute the above-described solder type classification process, and determines whether the solder part is being used on the object 12 currently being inspected.
  • the type of solder present is classified (step S383).
  • the control unit 30 determines whether the solder type classified in step S383 is a known solder type (solder type that may be set in design data or board inspection data). It is determined whether there is one (step S384). Specifically, when the control unit 30 determines that the type of solder being used is known (step S384: "Y"), the control unit 30 determines the type of solder used according to the classified type of solder.
  • Inspection parameters corresponding to the type are read (step S385).
  • a case will be specifically described in which one of two types of solder, A and B, is used (the types of solder are not limited to two types).
  • the control unit 30 determines that the type of solder is "A” (step S385: “type A”), it reads inspection parameters for solder type A from the memory 35 or the like (step S386). Further, when the control unit 30 determines that the type of solder is "B" (step S385: "type B”), it reads inspection parameters for solder type B from the memory 35 or the like (step S387).
  • control unit 30 After reading the inspection parameters, the control unit 30 images other areas on the object to be inspected 12 (step S388), and performs soldering in each area using the inspection parameters read in step S386 or step S387 described above. The condition is inspected (step S389), and when all solder parts have been inspected, the inspected object 12 is carried out to the next process (step S390), and the process returns to step S380 to inspect the next inspected object 12. conduct.
  • step S384 determines in step S384 that the type of solder used is not known (step S384: "N")
  • the control unit 30 outputs a warning using the output unit 37 or the like (Ste S391), the inspection process is temporarily ended.
  • a warning is output, a worker or the like takes out the object to be inspected 12 from the inspection device 10 and checks the type of solder, etc.
  • the type of solder used in the inspected object 12 can be classified from the image of the solder part, and a warning can be issued if the type of solder is not a known type. Therefore, the type of solder used in the object to be inspected 12 can be managed.
  • inspection parameters for the soldering state can be loaded according to the type of classified solder, and board inspection data can be switched using these inspection parameters, so appropriate inspection can be performed according to the type of solder being used. be able to.
  • Inspection device 12 Inspected object 20 Imaging unit (imaging section) 21 Camera unit 23 Lighting unit (light source) 30 Control unit (control section)

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)

Abstract

被検査体のはんだ表面に現れる凝固組織の形状（テクスチャ）の違いに基づいてはんだの種類を分類可能な検査装置を提供する。　検査装置１０は、被検査体１２を撮像する撮像ユニット２０と、制御ユニット３０と、を有し、制御ユニット３０は、撮像ユニット２０により被検査体１２上のはんだ部分を撮像して画像データを取得し、画像データからはんだ部分の表面に現れる凝固組織の形状の特徴量を抽出し、特徴量に基づいてはんだ部分に使用されているはんだの種類を分類する。

Description

検査装置
　本発明は、検査装置に関する。
　被検査体である電子部品等が実装された基板の外観を検査する検査装置においては、その基板のはんだ付けの状態が検査される（例えば、特許文献１参照）。また、近年では、鉛の含有量が少ないはんだが多数開発されている。そのため、組成の違いにより、性能の異なるはんだが開発されている（例えば、特許文献２参照）。
特開２０１２－０５３０１５号公報 特開２０１９－２０６０３２号公報
　上述したように、近年、鉛の含有量が少ないはんだが多数開発されているが、品質保証等の観点から、基板ごとに使用されるはんだの種類は決められている。しかし、手違い等により決められたはんだとは異なる種類のはんだが使用される場合がある。このような場合に、現在の検査装置では、基板に使用されているはんだの種類を分類することができないという課題があった。
　本発明はこのような課題に鑑みてなされたものであり、被検査体のはんだ表面に現れる凝固組織の形状（テクスチャ）の違いに基づいてはんだの種類を分類可能な検査装置を提供することを目的とする。
　前記課題を解決するために、本発明に係る検査装置は、被検査体を撮像する撮像部と、制御部と、を有し、前記制御部は、前記撮像部により前記被検査体上のはんだ部分を撮像して画像データを取得し、前記画像データから前記はんだ部分の表面に現れる凝固組織の形状の特徴量を抽出し、前記特徴量に基づいて前記はんだ部分に使用されているはんだの種類を分類する。
　本発明の検査装置によれば、被検査体のはんだ表面に現れる凝固組織の形状（テクスチャ）の違いに基づいてはんだの種類を分類することができる。
検査装置の構成を説明するための説明図である。 照明ユニットの投射角度とその反射光の検出を説明するための説明図であって、（ａ）は照明ユニットの各照明源の投射角度を示し、（ｂ）は被検査体の検査面の状態の一例を示す。 ＨＳＶ表色系における色相と照明ユニットの照明源の投射角度との対応を説明するための説明図である。 画像合成処理の流れを示すフローチャートである。 はんだ種類分類処理の流れを示すフローチャートである。 特徴量マップの一例を示す説明図である。 第１の検査方法の流れを示すフローチャートである。 第２の検査方法の流れを示すフローチャートである。 第３の検査方法の流れを示すフローチャートである。 第４の検査方法の流れを示すフローチャートである。 第５の検査方法の流れを示すフローチャートである。
　以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る検査装置１０の構成について説明する。この検査装置１０は、被検査体１２を撮像して得られる被検査体画像データを使用して被検査体１２を検査する装置である。被検査体１２は例えば、多数の電子部品が実装されている電子回路基板である。検査装置１０は、電子部品の実装状態の良否を被検査体画像データに基づいて特定する。この検査は通常、各部品に対し複数の検査項目について行われる。検査項目とはすなわち良否特定を要する項目である。検査項目には例えば、部品そのものの欠品や位置ずれ、極性反転などの部品配置についての検査項目と、はんだ付け状態や部品のリードピンの浮きなどの部品と基板との接続部についての検査項目とが含まれる。
　検査装置１０は、被検査体１２を保持するための検査テーブル１４と、被検査体１２を照明し撮像する撮像ユニット２０と、検査テーブル１４に対し撮像ユニット２０を移動させるＸＹステージ１６と、撮像ユニット２０及びＸＹステージ１６を制御するための制御ユニット３０と、を含んで構成される。なお説明の便宜上、図１に示すように、検査テーブル１４の被検査体配置面をＸＹ平面とし、その配置面に垂直な方向（すなわち撮像ユニット２０による撮像方向（カメラユニット２１の光学系の光軸方向））をＺ方向とする。
　撮像ユニット２０は、ＸＹステージ１６の移動テーブル（図示せず）に取り付けられており、ＸＹステージ１６によりＸ方向及びＹ方向のそれぞれに移動可能である。ＸＹステージ１６は例えばいわゆるＨ型のＸＹステージである。よってＸＹステージ１６は、Ｙ方向に延びるＹ方向ガイドに沿って移動テーブルをＹ方向に移動させるＹリニアモータと、Ｙ方向ガイドをその両端で支持しかつ移動テーブルとＹ方向ガイドとをＸ方向に移動可能に構成されている２本のＸ方向ガイドとＸリニアモータと、を備える。なおＸＹステージ１６は、撮像ユニット２０をＺ方向に移動させるＺ移動機構をさらに備えてもよいし、撮像ユニット２０を回転させる回転機構をさらに備えてもよい。検査装置１０は、検査テーブル１４を移動可能とするＸＹステージをさらに備えてもよく、この場合、撮像ユニット２０を移動させるＸＹステージ１６は省略されてもよい。
　撮像ユニット２０は、カメラユニット２１と、ハーフミラー２２と、照明ユニット２３と、投射ユニット２４と、を含んで構成される。本実施形態に係る検査装置１０においては、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４は一体の撮像ユニット２０として構成されていてもよい。この一体の撮像ユニット２０において、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４の相対位置は固定されていてもよいし、各ユニットが相対移動可能に構成されていてもよい。また、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４は別体とされ、別々に移動可能に構成されていてもよい。なお、以降の説明ではハーフミラー２２を用いて被検査体１２を照明する場合について説明するが、ハーフミラー２２は無くてもよい。
　カメラユニット２１は、対象物の２次元画像データを生成する撮像素子と、その撮像素子に画像を結像させるための光学系（例えばレンズ）とを含む。カメラユニット２１は例えばＣＣＤカメラである。カメラユニット２１の最大視野は、検査テーブル１４の被検査体載置区域よりも小さくてもよい。この場合、カメラユニット２１は、複数の部分画像に分割して被検査体１２の全体を撮像する。制御ユニット３０は、カメラユニット２１が部分画像を撮像して部分画像データを出力するたびに次の撮像位置へとカメラユニット２１が移動されるようＸＹステージ１６を制御する。制御ユニット３０は、部分画像データを合成して被検査体１２の全体画像データを生成する。
　なお、カメラユニット２１は、２次元の撮像素子に代えて、１次元画像を生成する撮像素子を備えてもよい。この場合、カメラユニット２１により被検査体１２を走査することにより、被検査体１２の全体画像を取得することができる。
　照明ユニット２３は、カメラユニット２１による撮像のための照明光を被検査体１２の表面に投射するよう構成されている。照明ユニット２３は、カメラユニット２１の撮像素子により検出可能である波長域から選択された波長または波長域の光を発する１つまたは複数の光源を備える。照明光は可視光には限られず、紫外光やＸ線等を用いてもよい。光源が複数設けられている場合には、各光源は異なる波長の光（例えば、赤色、青色、及び緑色）を異なる投光角度で被検査体１２の表面に投光するよう構成される。
　本実施形態に係る検査装置１０において、照明ユニット２３は、被検査体１２の検査面（すなわち撮像ユニット２０に対向する面（Ｘ－Ｙ面））に垂直に照明光を投射する落射照明源２３ａと、被検査体１２の検査面に対し斜め方向から照明光を投射する側方照明源（本実施形態では、上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄからなる）と、を備えている。なお、カメラユニット２１の光学系の光軸上にはハーフミラー２２が配置されており、落射照明源２３ａから放射された照明光の一部は、このハーフミラー２２で反射され、当該光軸上を通って被検査体１２に投射されるように構成されている。ここで、ハーフミラー２２の代わりにハーフプリズムを用いてもよい。また、本実施形態に係る検査装置１０においては、側方照明源２３ｂ、２３ｃ、２３ｄはそれぞれリング照明源であり、カメラユニット２１の光軸を包囲し、被検査体１２の検査面に対し斜めに照明光を投射するように構成されている。これらの側方照明源２３ｂ，２３ｃ，２３ｄの各々は、複数の光源が円環状に配置されて構成されていてもよい。なお、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄは、それぞれ、検査面に対して異なる角度で照明光を投射するように構成されている。
　また、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄの各々は、１つのリング照明源で構成してもよいし、複数のリング照明源を含んでもよい。例えば、落射照明源２３ａはカメラユニット２１の側部に取り付けられ、側方照明源のうち、上位光源２３ｂは１つのリング照明ユニットとして構成され、中位光源２３ｃ及び下位光源２３ｄが一体になった１つのリング照明ユニットとして構成することができる。なお、本実施形態において、落射照明源２３ａは赤色照明源であり、側方照明源のうち、上位光源２３ｂ及び下位光源２３ｄは赤色照明源であり、側方照明源のうち、中位光源２３ｃは緑色照明源、青色照明源及び赤色照明源で構成されている。
　このように、本実施形態の説明では、被検査体１２に異なる角度から照明光を照射する４種類の光源を用いる場合について説明するが、光源の種類（数）は４つに限定されることはなく、落射照明源２３ａのみでもよいし、落射照明源２３ａと側方照明源２３ｂ～２３ｄのいずれかとの組み合わせでもよいし、側方照明源２３ｂ～２３ｄまたはこれらのうちのいくつかだけでもよい。また、光源２３ａ～２３ｄのいずれか一つの光源でもよく、その場合、単色の光源によるモノクロの画像を取得するように構成してもよい。
　図１においては参考のため、落射照明源２３ａから投射され被検査体１２の検査面で反射してカメラユニット２１に投影される光束を破線の矢印で示している。ここで、被検査体１２の検査面で反射した光はハーフミラー２２に入射し、一部の光が透過してカメラユニット２１に入射する。また、側方照明源２３ｂ、２３ｃ、２３ｄ及び投射ユニット２４からの投射も同様に破線の矢印で示しており、一例として、上位光源２３ｂから投射され被検査体１２の検査面で反射してカメラユニット２１に入射する光束も示している。ここで、被検査体１２の表面は説明の便宜上、平面として図示しているが、実際には一般の被検査体のように、部位により傾斜や高さを有している。
　投射ユニット２４は、被検査体１２の検査面にパターンを投射する。パターンが投射された被検査体１２は、カメラユニット２１により撮像される。なお、図示される実施例においては上位光源２３ｂと中位光源２３ｃとの間に投射ユニット２４が設けられているが、投射ユニット２４の配置はこれに限られず、例えば下位光源２３ｄの外側に投射ユニット２４が設けられてもよい。
　検査装置１０は、投射ユニット２４からパターンが投射された状態で撮像された被検査体１２のパターン画像データに基づいて被検査体１２の検査面の高さマップを作成する。制御ユニット３０は、投射パターンに対するパターン画像の局所的な不一致を検出し、その局所的な不一致に基づいてその部位の高さを求める。つまり、投射パターン（投射ユニット２４から被検査体１２に投射されるパターン）に対する撮像パターン（被検査体１２に投射されカメラユニット２１で撮像されたパターン）の変化が、検査面上の高さ変化に対応する。
　ここで、投射パターンは、明線と暗線とが交互に周期的に繰り返される１次元の縞パターンであることが好ましい。投射ユニット２４は、被検査体１２の検査面に対し斜め方向から縞パターンを投影するよう配置されている。被検査体１２の検査面における高さの非連続は、縞パターン画像においてパターンのずれとして表れる。よって、パターンのずれ量から高さ差を求めることができる。本実施形態に係る検査装置１０においては、サインカーブに従って明るさが変化する縞パターンを用いるＰＭＰ（Ｐｈａｓｅ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｐｒｏｆｉｌｏｍｅｔｒｙ）法により制御ユニット３０は高さマップを作成する。ＰＭＰ法においては縞パターンのずれ量がサインカーブの位相差に相当する。
　投射ユニット２４は、パターン形成装置と、パターン形成装置を照明するための光源と、パターンを被検査体１２の検査面に投影するための光学系と、を含んで構成される。パターン形成装置は例えば、液晶ディスプレイ等のように所望のパターンを動的に生成しうる可変パターニング装置であってもよいし、ガラスプレート等の基板上にパターンが固定的に形成されている固定パターニング装置であってもよい。パターン形成装置が固定パターニング装置である場合には、固定パターニング装置を移動させる移動機構を設けるか、あるいはパターン投影用の光学系に調整機構を設けることにより、パターンの投影位置を可変とすることが好ましい。また、投射ユニット２４は、異なるパターンをもつ複数の固定パターニング装置を切替可能に構成されていてもよい。
　投射ユニット２４は、カメラユニット２１の周囲に複数設けられていてもよい。複数の投射ユニット２４は、それぞれ異なる投射方向から被検査体１２にパターンを投影するよう配置されている。このようにすれば、検査面における高さ差によって影となりパターンが投影されない領域を小さくすることができる。
　図１に示す制御ユニット３０は、本装置全体を統括的に制御するもので、ハードウエアとしては、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現され、ソフトウエアとしてはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　図１には、制御ユニット３０の構成の一例が示されている。制御ユニット３０は、検査制御部３１と記憶部であるメモリ３５とを含んで構成される。検査制御部３１は、高さ測定部３２と検査データ処理部３３と検査部３４とを含んで構成される。また、検査装置１０は、ユーザまたは他の装置からの入力を受け付けるための入力部３６と、検査に関連する情報を出力するための出力部３７とを備えており、入力部３６及び出力部３７はそれぞれ制御ユニット３０に接続されている。入力部３６は例えば、ユーザからの入力を受け付けるためのマウスやキーボード等の入力手段や、他の装置との通信をするための通信手段を含む。出力部３７は、ディスプレイやプリンタ等の公知の出力手段を含む。
　検査制御部３１は、入力部３６からの入力及びメモリ３５に記憶されている検査関連情報に基づいて、検査のための各種制御処理を実行するよう構成されている。検査関連情報には、被検査体１２の２次元画像データ、被検査体１２の高さマップ、及び基板検査データ（検査データ）が含まれる。検査に先立って、検査データ処理部３３は、すべての検査項目に合格することが保証されている被検査体１２の２次元画像データ及び高さマップを使用して基板検査データを作成する。検査部３４は、作成済みの基板検査データと、検査されるべき被検査体１２の２次元画像データ及び高さマップとに基づいて検査を実行する。
　基板検査データは基板の品種ごとに作成される検査データである。基板検査データはいわば、その基板に実装された部品ごとの検査データの集合体である。各部品の検査データは、その部品に必要な検査項目、各検査項目についての画像上の検査区域である検査ウインドウ、及び各検査項目について良否特定の基準となる検査基準を含む。検査ウインドウは各検査項目について１つまたは複数設定される。例えば部品のはんだ付けの良否を特定する検査項目においては通常、その部品のはんだ付け領域の数と同数の検査ウインドウがはんだ付け領域の配置に対応する配置で設定される。また、被検査体画像データに所定の画像処理をした画像データを使用する検査項目については、その画像処理の内容も検査データに含まれる。
　検査データ処理部３３は、基板検査データ作成処理として、その基板に合わせて検査データの各項目を設定する。例えば検査データ処理部３３は、その基板の部品レイアウトに適合するように各検査ウインドウの位置及び大きさを各検査項目について自動的に設定する。検査データ処理部３３は、検査データのうち一部の項目についてユーザの入力を受け付けるようにしてもよい。例えば、検査データ処理部３３は、ユーザによる検査基準のチューニングを受け入れるようにしてもよい。検査基準は高さ情報を用いて設定されてもよい。
　検査制御部３１は、基板検査データ作成の前処理として被検査体１２の撮像処理を実行する。この被検査体１２はすべての検査項目に合格しているものが用いられる。撮像処理は上記のように、照明ユニット２３により被検査体１２を照明しつつ撮像ユニット２０と検査テーブル１４との相対移動を制御し、被検査体１２の部分画像を順次撮像して部分画像データを取得することにより行われる。被検査体１２の全体がカバーされるように複数の部分画像データが撮像される。検査制御部３１は、これら複数の部分画像データを合成し、被検査体１２の検査面全体を含む基板全面画像データを生成する。検査制御部３１は、メモリ３５に基板全面画像データを記憶する。
　また、検査制御部３１は、高さマップ作成のための前処理として、投射ユニット２４により被検査体１２にパターンを投射しつつ撮像ユニット２０と検査テーブル１４との相対移動を制御し、被検査体１２のパターン画像を分割して順次撮像してパターンが投射されたときの分割画像データを取得する。投射されるパターンは好ましくは、ＰＭＰ法に基づきサインカーブに従って明るさが変化する縞パターンである。検査制御部３１は、撮像により得られた分割画像データを合成し、被検査体１２の検査面全体の画像データであるパターン画像データを生成する。検査制御部３１は、メモリ３５にパターン画像データを記憶する。なお、全体ではなく検査面の一部についてパターン画像データを生成するようにしてもよい。
　高さ測定部３２は、パターン画像データの撮像パターンに基づいて被検査体１２の検査面全体の高さマップを作成する。高さ測定部３２はまず、パターン画像データと基準パターン画像データとの局所的な位相差を画像全体について求めることにより、被検査体１２の検査面の位相差マップを求める。基準パターン画像データとは、投射ユニット２４により投射されたパターン画像（つまり投射ユニット２４に内蔵されているパターン形成装置が生成した画像データ）である。高さ測定部３２は、高さ測定の基準となる基準面と位相差マップとに基づいて被検査体１２の高さマップを作成する。基準面は例えば、検査される電子回路基板の基板表面である。基準面は必ずしも平面ではなくてもよく、基板の反り等の変形が反映された曲面であってもよい。基準面は、ユーザの入力等により予め指定されてもよいし、例えば後述の基板表面高さ測定方法により個々の基板ごとに求めてもよい。
　高さ測定部３２は、具体的には、撮像パターン画像データの各画素と、当該画素に対応する基準パターン画像データの画素とで縞パターンの位相差を求める。高さ測定部３２は、位相差を高さに換算する。高さへの換算は、当該画素近傍における局所的な縞幅を用いて行われる。撮像パターン画像データ上の縞幅が場所により異なるのを補間するためである。検査面上での位置により投射ユニット２４からの距離が異なるために、基準パターンの縞幅が一定であっても、検査面のパターン投影領域の一端から他端へと線形に縞幅が変化してしまうからである。高さ測定部３２は、換算された高さと基準面とに基づいて基準面からの高さを求め、被検査体１２の高さマップを作成する。
　検査制御部３１は、被検査体１２の高さマップが有する高さ情報を被検査体１２の２次元画像の各画素に対応づけることにより、高さ分布を有する被検査体画像データを作成してもよい。また、検査制御部３１は、高さ分布付き被検査体画像データに基づいて被検査体１２の３次元モデリング表示を行うようにしてもよい。また、検査制御部３１は、２次元の被検査体画像データに高さ分布を重ね合わせて出力部３７に表示してもよい。例えば、被検査体画像データを高さ分布により色分け表示するようにしてもよい。なお、本実施形態に係る検査装置１０において、投射ユニット２４及びこの投射ユニット２４による被検査体１２の高さ測定処理は実装しなくてもよい。
　それでは、照明ユニット２３を用いて撮像した画像データの処理方法について説明する。上述したように、本実施形態に係る検査装置１０において、照明ユニット２３を構成する光源（落射照明源２３ａ、並びに、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄ）は、図２（ａ）に示すように、被検査体１２の基準面（被検査体１２の検査面であって、検査装置１０の設置面に対して略平行な面）に対して、異なる投射角度になるように配置されている。具体的には、落射照明源２３ａからの照明光は、カメラユニット２１の光学系の光軸Ｌに沿って、すなわち、基準面に対して略垂直に投射され、また、上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄの順序で、投射角度が水平方向に近づくように投射される。
　照明ユニット２３の各光源２３ａ～２３ｄの各々から投射され、被検査体１２で反射した光のうち、被検査体１２で反射して直接カメラユニット２１に入射する光以外の強度は、理想的には０になる、すなわち、被検査体１２の検査面の基準面に対する角度（傾斜状態）と、照明ユニット２３の各光源２３ａ～２３ｄのうち、この検査面で反射した光がカメラユニット２１に直接入射する光源による反射光の強度は大きくなり、それ以外の光源による反射光の強度は０になる。例えば、被検査体１２の検査面に、図２（ｂ）に示す断面のはんだが形成されていた場合、そのはんだの表面の基準面に対する角度に応じて、カメラユニット２１の撮像素子により検出される、照明ユニット２３の各光源２３ａ～２３ｄによる照明光の反射光の強度が変化する。本実施形態では、基準面に対して０°～１５°の傾斜面は、落射照明源２３ａからの光の反射光の強度が大きくなり、１５°～４５°の傾斜面は、上位光源２３ｂからの光の反射光の強度が大きくなり、４５°～６５°の傾斜面は、中位光源２３ｃからの光の反射光の強度が大きくなり、６５°～８５°の傾斜面は、下位光源２３ｄからの光の反射光の強度が大きくなるように構成されている。なお、照明ユニット２３の各光源２３ａ～２３ｄと、被検査体１２の傾斜面の角度との関係は一例であり、この構成に限定されることはない。
　以上より、照明ユニット２３の各光源２３ａ～２３ｄの各々を点灯してカメラユニット２１で撮像して得られた画像データの各々の画素の強度は、上述した傾斜面の角度と一致しているときに大きくなり、一致していないときは０に近い値になる。
　そこで、本実施形態に係る検査装置１０では、照明ユニット２３の各光源２３ａ～２３ｄのそれぞれから照明光を投射してカメラユニット２１で撮像して得られた画像データから、Ｒ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分の画像を生成し、さらに、この３つの画像を合成することによりＲＧＢ画像（カラー画像）を生成して、被検査体１２の検査面の傾斜の状態を表現するように構成されている。
　図３に示すように、色を、色相Ｈ、彩度Ｓ及び明度Ｖで表現した場合（ＨＳＶ表色系で表現した場合）、色相Ｈは円の角度で表され、彩度Ｓ及び明度Ｖは互いに直交する方向の大きさで表される。また、この色相Ｈにおいて、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）は、各々１２０°離れた位置にある。そのため、上位光源２３ｂからの光を投射した反射光により得られた画像データ、すなわち、本実施形態では、１５°～４５°の傾斜面からの反射光を検出した画像データ（図３においては「Ｔｏｐ」と呼ぶ）をＲ（赤色）に割り当て、中位光源２３ｃからの光を投射した反射光により得られた画像データ、すなわち、４５°～６５°の傾斜面からの反射光を検出した画像データ（図３において「Ｓｉｄｅ」と呼ぶ）をＧ（緑色）に割り当て、下位光源２３ｄからの光を投射した反射光により得られた画像データ、すなわち、６５°～８５°の検査面からの反射光を検出した画像データ（図３においては「Ｌｏｗ」と呼ぶ）をＢ（青色）に割り当てることにより、これらの画像データを合成して得られたＲＧＢ画像データ（カラー画像データ）からは、傾斜状態に応じて、ＲＧＢで表現された画像データを得られることができるので、この画像データの色から、被検査体１２の検査面の傾斜状態を把握することができる。また、上述したように、照明ユニット２３の側方照明源２３ｂ～２３ｄの投射角度と色相Ｈとを対応させることにより、Ｒ（赤色）で表現される１５°～４５°よりも小さい、０°～１５°の傾斜面からの反射光を検出した画像データ（図３においては「Ｃｏａｘｉｓ」と呼ぶ）を、Ｒ（赤色）とＢ（青色）の中間の色（紫）で表示させることができるので、照明ユニット２３として、投射角度の異なる４つ以上の光源を用いた場合でも、ＲＧＢ画像データ（カラー画像データ）により被検査体１２の検査面の傾斜状態を明確に表現することができる。すなわち、図２（ｂ）に示すはんだの状態を、ＲＧＢ画像（カラー画像）から判断することができる。
　なお、照明ユニット２３の各光源２３ａ～２３ｄから照射される照明光の色と、これらの光源２３ａ～２３ｄの各々から照射された光による反射光を撮像して得られた画像データを割り当てる色（ＲＧＢ）とは一致する必要はないため（色相Ｈは、被検査体１２の検査面の傾斜状態（角度）を表しているため）、カメラユニット２１の撮像素子はカラーである必要はない（光の強度を検出できればよい）。なお、ＲＧＢ画像データ（カラー画像データ）の生成において、強度の違いは、彩度Ｓ又は明度Ｖで表現される。
　なお、光源２３ａ～２３ｄは、順次点灯してカメラユニット２１で被検査体１２の画像を撮像してもよいし、カメラユニット２１を、カラー画像データを取得できるカメラで構成して、光源２３ａ～２３ｄを同時に点灯して、被検査体１２の画像を一度で撮像してもよい。この場合、１枚のカラー画像データから、Ｒ（赤色）成分の画像データ、Ｇ（緑色）成分の画像データ及びＢ（青色）成分の画像データを取得することができる。
　それでは、図４を用いて、制御ユニット３０の検査制御部３１の画像合成処理について説明する。なお、上述したように、検査制御部３１により、ＸＹステージ１６が制御され、被検査体１２の検査面の、落射照明源２３ａにより照明されたときの画像データ（以下、「Ｃｏａｘｉｓ画像」と呼ぶ）、上位光源２３ｂにより照明されたときの画像データ（以下、「Ｔｏｐ画像」と呼ぶ）、中位光源２３ｃにより照明されたときの画像データ（以下、「Ｓｉｄｅ画像」と呼ぶ）、及び、下位光源２３ｄにより照明されたときの画像データ（以下、「Ｌｏｗ画像」と呼ぶ）が取得され、各画素の強度がメモリ３５に記憶されているものとする。なお、以降の説明において、被検査体１２の検査面を撮像した画像データ（被検査体画像データ）は、Ｍ×Ｎの画素（Ｍ，Ｎは正の整数）で構成されているものとし、画素（ｉ，ｊ）に対する落射照明源２３ａの画像データ（Ｃｏａｘｉｓ画像）の記憶領域をＡｃ（ｉ，ｊ）とし、上位光源２３ｂの画像データ（Ｔｏｐ画像）の記憶領域をＡｔ（ｉ，ｊ）とし、中位光源２３ｃの画像データ（Ｓｉｄｅ画像）の記憶領域をＡｓ（ｉ，ｊ）とし、下位光源２３ｄの画像データ（Ｌｏｗ画像）の記憶領域をＡｌ（ｉ，ｊ）とする。また、以下の処理により生成されたＲ（赤色）成分の画像データの記憶領域をＢｒ（ｉ，ｊ）とし、Ｇ（緑色）成分の画像データの記憶領域をＢｇ（ｉ，ｊ）とし、Ｂ（青色）成分の画像データの記憶領域をＢｂ（ｉ，ｊ）とする。但し、ｉ＝０・・・Ｍ－１、ｊ＝０・・・Ｎ－１とする。
　制御ユニット３０の検査制御部３１は、上述した処理により被検査体１２の検査面の、照明ユニット２３の光源２３ａ～２３ｄのそれぞれによる画像データが撮像されると、ＲＧＢ成分の画像データの記憶領域Ｂｒ（ｉ，ｊ）、Ｂｇ（ｉ，ｊ）、Ｂｂ（ｉ，ｊ）をクリアする（ステップＳ１００）。そして、画像データの画素の列方向をカウントする変数ｉに０を設定し（ステップＳ１０２）、画像データの画素の行方向をカウントする変数ｊに０を設定し（ステップＳ１０４）、まず、画素（ｉ，ｊ）におけるＣｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））とＴｏｐ画像の強度（Ａｔ（ｉ，ｊ））を比較し（ステップＳ１０６）、Ｃｏａｘｉｓ画像の強度の方がＴｏｐ画像の強度よりも大きいときは、Ｃｏａｘｉｓ画像の強度の値をＲ成分の画像データの画素（ｉ，ｊ）の値として記憶し（Ｂｒ（ｉ，ｊ）にＡｃ（ｉ，ｊ）の値を設定し）（ステップＳ１０８）、Ｔｏｐ画像の強度がＣｏａｘｉｓ画像の強度以下のときは、Ｔｏｐ画像の強度の値をＲ成分の画像データの画素（ｉ，ｊ）の値として記憶する（Ｂｒ（ｉ，ｊ）にＡｔ（ｉ，ｊ）の値を設定する）（ステップＳ１１０）。
　次に、画素（ｉ，ｊ）におけるＣｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））とＬｏｗ画像の強度（Ａｌ（ｉ，ｊ））を比較し（ステップＳ１１２）、Ｃｏａｘｉｓ画像の強度の方がＬｏｗ画像の強度よりも大きいときは、Ｃｏａｘｉｓ画像の強度の値をＢ成分の画像データの画素（ｉ，ｊ）の値として記憶し（Ｂｂ（ｉ，ｊ）にＡｃ（ｉ，ｊ）の値を設定し）（ステップＳ１１４）、Ｌｏｗ画像の強度がＣｏａｘｉｓ画像の強度以下のときは、Ｌｏｗ画像の強度の値をＢ成分の画像データの画素（ｉ，ｊ）の値として記憶する（Ｂｂ（ｉ，ｊ）にＡｌ（ｉ，ｊ）の値を設定する）（ステップＳ１１６）。
　さらに、画素（ｉ，ｊ）におけるＳｉｄｅ画像の強度（Ａｓ（ｉ，ｊ））をＧ成分の画像データの画素（ｉ，ｊ）の値として記憶する（Ｂｇ（ｉ，ｊ）にＡｓ（ｉ，ｊ）の値を設定する）（ステップＳ１１８）。
　そして、変数ｊに１を加算し（ステップＳ１２０）、この変数ｊの値がＮより小さいか否かを判断し（ステップＳ１２２）、Ｎより小さいときはステップＳ１０６に戻って上記の処理を繰り返す。また、ステップＳ１２２で変数ｊの値がＮ以上であると判断したときは、変数ｉに１を加算し（ステップＳ１２４）、変数ｉの値がＭより小さいか否かを判断し（ステップＳ１２６）、Ｍより小さいときはステップＳ１０４に戻って上記の処理を繰り返す。
　最後に、以上のようにしてＭ×Ｎの画素の全てに対して生成されたＲ成分の画像データＢｒ（ｉ，ｊ）、Ｂ成分の画像データＢｂ（ｉ，ｊ）及びＧ成分の画像データＢｇ（ｉ，ｊ）（ｉ＝０・・・Ｍ－１，ｊ＝０・・・Ｎ－１）を用いて、画素（ｉ，ｊ）毎に、Ｂｒ（ｉ，ｊ）の値から赤色成分の値を決定し、Ｂｂ（ｉ，ｊ）の値から青色成分の値を決定し、Ｂｇ（ｉ，ｊ）から緑色成分の値を決定し、カラー画像データ（ＲＧＢ画像データ）を合成してメモリ３５に記憶させる（ステップＳ１２８）。
　基本的に、照明ユニット２３の各光源２３ａ～２３ｄの投射角度と被検査体１２の検査面の傾斜状態とがカメラユニット２１に直接入力する場合で無いと、反射光の強度は検出できないが、検査面で反射した光が被検査体１２の検査面の他の箇所で反射することによる（２次反射による）光がカメラユニット２１に入射して検出される場合もある。また、図３を用いて説明したように、本実施形態においては、最終的に生成されるＲＧＢ画像データの色相Ｈのうち、Ｒ（赤色）をＴｏｐに割り当て（１５°～４５°の傾斜を表す）、Ｂ（青色）をＬｏｗに割り当てている（６５°～８５°の傾斜を表す）。そのため、画素（ｉ，ｊ）において、Ｃｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））がＴｏｐ画像の強度（Ａｔ（ｉ，ｊ））及びＬｏｗ画像の強度（Ａｌ（ｉ，ｊ））より大きいときは、このＣｏａｘｉｓ画像の強度を当該画素（ｉ，ｊ）におけるＲ画像データ及びＢ画像データの値（Ｂｒ（ｉ，ｊ）及びＢｂ（ｉ，ｊ））として設定することにより、当該光は落射照明源２３ａからの反射光がカメラユニット２１に入射する角度である（０°～１５°の傾斜状態である）と判断することができ、色相Ｈを紫で表現することができる。また、Ｔｏｐ画像の強度がＣｏａｘｉｓ画像の強度以上であるときは、当該画素に対応する検査面が、上位光源２３ｂからの反射光がカメラユニット２１に直接入射する角度である（１５°～４５°の傾斜状態である）と判断することができ、色相Ｈを赤で表現し、Ｌｏｗ画像の強度がＣｏａｘｉｓ画像の強度以上であるときは、当該画素に対する検査面が、下位光源２３ｄからの反射光がカメラユニット２１に直接入射する角度である（６５°～８５°の傾斜状態である）と判断することができ、色相Ｈを青で表現するように構成されている。
　なお、Ｃｏａｘｉｓの色相Ｈを、例えば黄色に割り当てると、検査面の角度が、Ｓｉｄｅに対応した傾斜状態（４５°～６５°）とＬｏｗに対応した傾斜状態（６５°～８５°）との境界付近の傾斜状態のときも黄色となるため、傾斜状態の判別が付かなくなるが、Ｃｏａｘｉｓに対応する色相Ｈを傾斜角度の範囲が最も離れたＲ（赤色）とＢ（青色）の中間の紫とすることで、傾斜状態を明確に判別することができる。同様に、紫とすることで、２次反射による影響も排除することができる。
　以上のように、被検査体１２の検査面の傾斜状態（角度）をＨＳＶ表色系における色相Ｈの角度（図３参照）に対応させてＲＧＢ画像データとして表現することにより、色相Ｈの角度の変化（すなわち、色の変化）と検査面の角度の変化が対応することになり（例えば、検査面の角度が０°→３０°→５５°→７５°と変化すると、ＲＧＢ画像の該当箇所の画素の色が紫→赤→緑→青と変化するため）、検査面の傾斜状態を感覚的に理解することができる。なお、以上の説明では、Ｔｏｐ、Ｓｉｄｅ、Ｌｏｗの状態をそれぞれ、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）に割り当てた場合（その結果Ｃｏａｘｉｓの状態が紫色になる）について説明したが、例えば、Ｔｏｐの状態を黄色に割り当てた場合には、図３において、黄色から色相Ｈが各々１２０°ずれた色をＳｉｄｅ及びＬｏｗの状態に割り当て、Ｃｏａｘｉｓの状態をＴｏｐ及びＬｏｗの状態の間の色相Ｈとすることにより対応することが可能である。
　また、以上のようなＲＧＢ画像データとすることにより、被検査体１２の検査面の傾斜状態がなめらかに変化するときは、上述したように色相Ｈの角度に応じて変化するため、色相Ｈの変化が連続で無いときや、急激に変化をするときは、その検査面が異常である（検査面の高さが異常である）可能性を表現することができる。また、ＲＧＢ画像データにおける色相Ｈの変化から、検査面の傾斜状態（角度）を推定することで、検査面の高さ測定材料として扱うこともできる。
　なお、このようなＲＧＢ画像データによる検査対象は、上述したはんだ面に限定されることはなく、ＩＣリード先端の形状やチップ電極の形状にも適用することができる。
　次に、被検査体１２が電子回路基板等であるときに、この電子回路基板に電子部品を取り付けるはんだの種類及びその分類方法について説明する。
　従来のはんだは、鉛及びスズを主成分とした合金であり、熱せられて溶けたはんだが凝固するときに、鉛とスズの微細なラメラ状の共晶組織が形成され、その表面はなだらかで凹凸が小さくなる。一方、鉛の含有量を少なくするために、鉛の代わりに銀、銅、その他の金属が配合された、いわゆる「鉛フリーはんだ」の場合、凝固時に粗大な樹枝状晶（デンドライト）の初晶が初めに現れ、その隙間に共晶組織が形成される。そのため、凝固したはんだの表面は数十μｍオーダーの凹凸が多数形成されるが、その形状や大きさ、個数は、はんだに配合されている金属やその割合で変化する。以上より、はんだ表面に現れる凝固組織の形状（凝固したはんだの表面の形状（テクスチャ））が、滑らかな場合と、粗い場合、また、粗い場合は、凹凸の形状や大きさ、個数から、使用されているはんだの種類を分類することができる。
　本実施形態の検査装置では、上述したように、被検査体１２の表面に、異なる角度から放射された照明光を照射することにより、検査面の角度を色情報の違いで表現したＲＧＢ画像データ（カラー画像データ）を取得することができるため、このＲＧＢ画像データを用いて得られたはんだの表面の画像データから、使用されているはんだの種類を分類するように構成されている。以下に、はんだの種類の分類方法について説明する。
　まず、図５を用いて、はんだの種類を分類する方法について説明する。制御ユニット３０は、はんだ種類分類処理が開始されると、はんだの部分が含まれるＲＧＢ画像データをメモリ３５から読み出す（ステップＳ２００）。上述したように、基板検査データには、各検査項目についての画像上の検査区域である検査ウインドウの情報が含まれており、この情報から、被検査体１２上のはんだの部分の位置を特定することができる。あるいは、被検査体１２の設計データからもはんだの位置を特定することができる。また、制御ユニット３０は、読み出されたＲＧＢ画像データをＨＳＶ変換し、Ｈ（色度）、Ｓ（彩度）及びＶ（輝度）の３軸値を取得する（ステップＳ２０２）。
　上述したように、色度の情報は、はんだ部分の傾斜量を表しており、これははんだ部分のマクロな凹凸表面形状を反映している。したがって、制御ユニット３０は、ＲＧＢ画像データから得られた３軸値により、色度の分布をラベリングすることで粒状性の特徴量（凹凸（粒子）の大きさ、形状、数等）を得る（ステップＳ２０４）。また、彩度の情報は、はんだ部分の表面の乱反射性と対応する連続量であり、はんだ部分のミクロな表面粗滑状態を反映している。具体的には、乱反射が多いときは彩度は０に近く、全反射、鏡面反射が多い場合には彩度は１００％になり、ミクロな表面粗滑状態を反映する。したがって、制御ユニット３０は、ＲＧＢ画像データから得られた３軸値により、彩度から表面平滑度の特徴量（滑らか又は粗いか）を得る（ステップＳ２０６）。
　最後に、制御ユニット３０は、ステップＳ２０４，Ｓ２０６で得られた特徴量を例えば図６に示す特量マップと照らし合わせ、はんだの種類を分類し（ステップＳ２０８）、はんだ種類分類処理を終了する。この図６では、特徴量として、粒子数、粒子サイズ及び表面平滑度からはんだの種類を分類する場合を示している。
　はんだの種類の分類方法としては、画像内の特定の領域を検査するアルゴリズムである輪郭一致（Contour Match）を用いることができる。この輪郭一致は、条件に合致する連続した画素（領域）の輪郭を囲い、その数や面積、輪郭長を計測して検査する方法である。画像を二値化して凹凸の面積を求めた場合、対象画素が分散していても固まっていても同じような値になるのに対し、この輪郭一致では画素の塊である領域を捉えることができるため、はんだ表面の形状（テクスチャ）を的確に表現することができる。上述したように、本実施形態に係るはんだ種類分類処理では、ＲＧＢ画像データをＨＳＶ変換して用いているため、上述した特徴量の精度を向上させることができる。なお、ＨＳＶ変換していないオリジナルのＲＧＢ画像データによりはんだの分類をすることもできる。
　カメラユニット２１の解像度よりも凝固組織の凹凸が細かく梨地のような状態の場合では、拡散反射光が撮像されることになる。この場合、鏡面反射のように照明の角度に応じたＲＧＢの値が明瞭に分かれず、それぞれの照明が混じり合った様な画像が撮像される。この場合では、粒状の輪郭そのものを抽出することは難しくなるが、カメラユニット２１の解像度よりも細かい凹凸が存在しているという特徴を得ることができる。
　あるいは、はんだの種類の分類方法として、ディープラーニング等の機械学習により、クラス分類を行うことができる。具体的には、予め選択した画像領域の、はんだの種類毎のＨＳＶ変換されたＲＧＢ画像データを学習させてＡＩモデルを作成することにより、検査においてはこのＡＩモデルに基づいてはんだの部分の画像データ（ＲＧＢ画像データをＨＳＶ変換した画像データ）からはんだの種類を分類することができる。ＡＩモデルを利用することにより、分類処理のためのパラメータ調整等を行う必要がなくなる。なお、ＨＳＶ変換していないオリジナルのＲＧＢ画像データにより分類することもできる。
　なお、被検査体１２に使用されているはんだの種類の分類は、一つのはんだ部分で判断するだけでなく、被検査体１２の複数のはんだ部分に対して上述した分類処理を行い、最も多く分類されたはんだの種類を、当該被検査体１２で使用されているはんだの種類と分類してもよい。
　なお、被検査体１２に異なる角度から照明光を照射して得られた画像データからＨＳＶ変換されたＲＧＢ画像データ（具体的には、はんだ部分の角度に色が対応した画像データ）を取得する場合、カメラユニット２１のレンズの光軸とはんだ表面がなるべく垂直に近い状態にカメラユニット２１を配置することが、はんだの種類の分類においては望ましい。そのため、上述カメラユニット２１（これを「メインカメラ」と呼ぶ）の他に、被検査体１２をメインカメラとは異なる角度から撮像するサブカメラを設け、メインカメラ及びサブカメラのそれぞれで、はんだ部分の角度に応じたＲＧＢ画像データを取得するように構成してもよい。このサブカメラは、例えば、図１における投射ユニット２４の位置に配置することができる。サブカメラで得られた画像データからＨＳＶ変換されたＲＧＢ画像データを生成するときは、メインカメラで得られるＲＧＢ画像データの色とはんだ部分の角度との関係と同一となるようにすることが望ましい。すなわち、メインカメラで得られたＲＧＢ画像データも、サブカメラで得られたＲＧＢ画像データも、はんだ部分の角度が同じときは同じ色になるようにすることが望ましい。
　このように、メインカメラ及びサブカメラでＲＧＢ画像データを取得する場合、メインカメラで部品未搭載のはんだを撮像し、サブカメラで、角度のある良品はんだを撮像するようにしてもよい。
　本実施形態に係る検査装置１０では、はんだ付けの状態や部品の実装状態を検査するため、ある程度の視野が必要であり、そうすると、カメラユニット２１の解像度は低くなる。しかしながら、上述したように、被検査体１２に対して異なる角度から照明光を照射して画像データを取得し、これらの画像データからはんだ部分の角度と色が対応したＲＧＢ画像データを生成してはんだの種類の分類に用いることにより、カメラユニット２１の解像度が低くても、精度良くはんだの種類を分類することができる。言い換えると、このはんだの種類の分類方法では、凝固組織の形状を詳細に捉える必要はなく、カメラユニット２１には、ある程度大局的な特徴を捉えるのに必要な解像度があれば十分である。例えば、２０μｍの組織を捉えるためには、一般的にその１／１０の２μｍの解像度が必要になるが、本願の方法によると、大局的に捉えることができる５～３０μｍの解像度があれば十分である。また、カメラユニット２１の視野を広くすることで、被検査体１２の検査速度を向上させることができる。
　次に、本実施形態に係る検査装置１０において実行される、被検査体１２のはんだ部分の検査の処理について説明する。なお、検査装置１０における被検査体１２の検査は、はんだ部分の検査だけではなく、電子部品の実装状態の良否の検査も行われるが、以下の説明では、はんだ部分の検査についてのみ説明する。
－第１の検査方法－
　まず、図７を用いて、はんだの第１の検査方法について説明する。検査装置１０の制御ユニット３０は、検査が開始されると、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３００）。また、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３０１）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。
　次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３０２）。上述したように、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。
　ステップＳ３０２ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３０３）。制御ユニット３０は、ステップＳ３０３で分類されたはんだの種類と、設計データや基板検査データで指定されているはんだの種類とを比較する（ステップＳ３０４）。そして、制御ユニット３０が、使用されているはんだの種類が正しい（設計データや基板検査データで指定されているはんだの種類と同一である）と判断すると（ステップＳ３０４：「Ｙ」）、制御ユニット３０は、被検査体１２上のその他の領域を撮像し（ステップＳ３０５）、各領域においてはんだ付けの状態の検査を行い（ステップＳ３０６）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３０７）、ステップＳ３００に戻って次の被検査体１２の検査を行う。
　一方、ステップＳ３０４で、制御ユニット３０が、使用されているはんだの種類が間違っている（設計データや基板検査データで指定されているはんだの種類と異なる）と判断すると（ステップＳ３０４：「Ｎ」）、制御ユニット３０は、出力部３７等を用いて警告を出力し（ステップＳ３０８）、検査処理を一旦終了する。警告が出力された場合、作業員等が被検査体１２を検査装置１０から取り出し、はんだの種類等の確認を行う。
　このように、第１の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、設計データや基板検査データで指定されているはんだの種類と異なるときは警告を発することができるので、被検査体１２に使用されているはんだの種類を管理することができる。
－第２の検査方法－
　次に、図８を用いて、はんだの第２の検査方法について説明する。この第２の検査方法では、はんだの種類を分類し、使用されているはんだの種類に応じて設定された検査用のパラメータを読み込み、この検査パラメータに基づいて基板検査データを切り替えて、はんだ付け状態の検査を行う方法である。
　制御ユニット３０は、検査が開始されると、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３２０）。また、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３２１）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。
　次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３２２）。第１の検査方法と同様に、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。
　ステップＳ３２２ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３２３）。そして、制御ユニット３０は、分類されたはんだの種類に応じて、当該はんだの種類に応じた検査パラメータを読み込む（ステップＳ３２４）。ここでは、Ａ及びＢの２種類のはんだの何れかが使用されている場合について具体的に説明する（はんだの種類は２種類に限定されることはない）。制御ユニット３０は、はんだの種類が「Ａ」であると判断すると（ステップＳ３２４：「種類Ａ」）、メモリ３５等からはんだ種類Ａ用の検査パラメータを読み込む（ステップＳ３２５）。また、制御ユニット３０は、はんだの種類が「Ｂ」であると判断すると（ステップＳ３２４：「種類Ｂ」）、メモリ３５等からはんだ種類Ｂ用の検査パラメータを読み込む（ステップＳ３２６）。
　制御ユニット３０は、検査パラメータを読み込むと、被検査体１２上のその他の領域を撮像し（ステップＳ３２７）、上述したステップＳ３２５又はステップＳ３２６で読み込んだ検査パラメータを用いて、各領域においてはんだ付けの状態の検査を行い（ステップＳ３２８）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３２９）、ステップＳ３２０に戻って次の被検査体１２の検査を行う。
　このように、第２の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、分類されたはんだの種類に応じて、はんだ付け状態の検査パラメータを読み込み、この検査パラメータにより基板検査データを切り替えることができるので、使用されているはんだの種類に応じて適切な検査を行うことができる。
－第３の検査方法－
　次に、図９を用いて、はんだの第３の検査方法について説明する。この第３の検査方法は、はんだの種類を分類し、使用されているはんだの種類に応じて基板検査データを生成して検査を行う方法である。
　制御ユニット３０は、検査が開始されると、これから検査を行う被検査体１２の設計データをメモリ３５から読み込む（ステップＳ３４０）。また、制御ユニット３０は、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３４１）。また、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３４２）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。
　次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３４３）。第１及び第２の検査方法と同様に、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。
　ステップＳ３４３ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３４４）。そして、制御ユニット３０は、分類されたはんだの種類に応じて、当該はんだの種類に応じた検査ライブラリを読み込む（ステップＳ３４５）。ここでは、Ａ及びＢの２種類のはんだの何れかが使用されている場合について具体的に説明する（はんだの種類は２種類に限定されることはない）。制御ユニット３０は、はんだの種類が「Ａ」であると判断すると（ステップＳ３４５：「種類Ａ」）、メモリ３５等からはんだ種類Ａ用の検査ライブラリを読み込む（ステップＳ３４６）。また、制御ユニット３０は、はんだの種類が「Ｂ」であると判断すると（ステップＳ３４５：「種類Ｂ」）、メモリ３５等からはんだ種類Ｂ用の検査ライブラリを読み込む（ステップＳ３４７）。
　制御ユニット３０は、検査ライブラリを読み込むと、被検査体１２上のその他の領域を撮像し（ステップＳ３４８）、上述したステップＳ３４０で読み込んだ設計データとステップＳ３４６又はステップＳ３４７で読み込んだ検査ライブラリとを用いて、設計データに基づき、各実装部品に検査ライブラリを展開する（ステップＳ３４９）。そして、制御ユニット３０は、展開された検査ライブラリを用いて各領域においてはんだ付けの状態の検査を行い（ステップＳ３５０）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３５１）、ステップＳ３４０に戻って次の被検査体１２の検査を行う。
　このように、第３の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、分類されたはんだの種類に応じて、検査ライブラリを展開してこの検査ライブラリに基づいてはんだ付け状態や電子部品の実装状態の良否の検査を行うことができる。そのため、被検査体１２に使用されているはんだの種類に応じて検査データを生成することができるので、使用されているはんだの種類に応じて適切な検査を行うことができる。
－第４の検査方法－
　次に、図１０を用いて、はんだの第４の検査方法について説明する。第３の検査方法では、使用されているはんだの種類に応じて検査ライブラリを展開したが、第４の検査方法は、第１の検査方法と組み合わせて、使用される予定のないはんだの種類であると分類されたときに、検査処理を中断するように構成した場合である。
　制御ユニット３０は、検査が開始されると、これから検査を行う被検査体１２の設計データをメモリ３５から読み込む（ステップＳ３６０）。また、制御ユニット３０は、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３６１）。そして、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３６２）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。
　次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３６３）。第１の検査方法でも説明したように、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。
　ステップＳ３６３ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３６４）。また、制御ユニット３０は、ステップＳ３６４で分類されたはんだの種類が、既知のはんだの種類（設計データや基板検査データに設定される可能性のあるはんだの種類）であるか否かを判断する（ステップＳ３６５）。具体的には、制御ユニット３０が、使用されているはんだの種類が既知であると判断すると（ステップＳ３６５：「Ｙ」）、制御ユニット３０は、分類されたはんだの種類に応じた検査ライブラリをメモリ３５から読み込み（ステップＳ３６６）、被検査体１２上のその他の領域を撮像し（ステップＳ３６７）、上述したステップＳ３６０で読み込んだ設計データとステップＳ３６６で読み込んだ検査ライブラリとを用いて、設計データに基づき、各実装部品に検査ライブラリを展開する（ステップＳ３６８）。そして、制御ユニット３０は、展開された検査ライブラリに基づいて、各領域においてはんだ付けの状態の検査を行い（ステップＳ３６９）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３７０）、ステップＳ３６０に戻って次の被検査体１２の検査を行う。
　一方、ステップＳ３６５で、制御ユニット３０が、使用されているはんだの種類が既知でないと判断すると（ステップＳ３６５：「Ｎ」）、制御ユニット３０は、出力部３７等を用いて警告を出力し（ステップＳ３７１）、検査処理を一旦終了する。警告が出力された場合、作業員等が被検査体１２を検査装置１０から取り出し、はんだの種類等の確認を行う。
　このように、第４の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、既知のハンダの種類でないときは警告を発することができるので、被検査体１２に使用されているはんだの種類を管理することができる。また、はんだの種類に応じて検査ライブラリを設定することができるので、使用されているはんだの種類に応じて適切な検査を行うことができる。
－第５の検査方法－
　最後に、図１１を用いて、はんだの第５の検査方法について説明する。第２の検査方法では、使用されているはんだの種類に応じて検査用のパラメータを読み込み、このパラメータに基づいて基板データを切り替えてはんだ付けの状態の検査をおこなったが、第５の検査方法は、第１の検査方法と組み合わせて、使用される予定のないはんだの種類であると分類されたときに、検査処理を中断するように構成した場合である。
　制御ユニット３０は、検査が開始されると、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３８０）。また、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３８１）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。
　次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３８２）。第１の検査方法と同様に、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。
　ステップＳ３８２ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３８３）。はんだの種類が分類されると、制御ユニット３０は、ステップＳ３８３で分類されたはんだの種類が、既知のはんだの種類（設計データや基板検査データに設定される可能性のあるはんだの種類）であるか否かを判断する（ステップＳ３８４）。具体的には、制御ユニット３０が、使用されているはんだの種類が既知であると判断すると（ステップＳ３８４：「Ｙ」）、制御ユニット３０は、分類されたはんだの種類に応じて、当該はんだの種類に応じた検査パラメータを読み込む（ステップＳ３８５）。ここでは、Ａ及びＢの２種類のはんだの何れかが使用されている場合について具体的に説明する（はんだの種類は２種類に限定されることはない）。制御ユニット３０は、はんだの種類が「Ａ」であると判断すると（ステップＳ３８５：「種類Ａ」）、メモリ３５等からはんだ種類Ａ用の検査パラメータを読み込む（ステップＳ３８６）。また、制御ユニット３０は、はんだの種類が「Ｂ」であると判断すると（ステップＳ３８５：「種類Ｂ」）、メモリ３５等からはんだ種類Ｂ用の検査パラメータを読み込む（ステップＳ３８７）。
　制御ユニット３０は、検査パラメータを読み込むと、被検査体１２上のその他の領域を撮像し（ステップＳ３８８）、上述したステップＳ３８６又はステップＳ３８７で読み込んだ検査パラメータを用いて、各領域においてはんだ付けの状態の検査を行い（ステップＳ３８９）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３９０）、ステップＳ３８０に戻って次の被検査体１２の検査を行う。
　一方、ステップＳ３８４で、制御ユニット３０が、使用されているはんだの種類が既知でないと判断すると（ステップＳ３８４：「Ｎ」）、制御ユニット３０は、出力部３７等を用いて警告を出力し（ステップＳ３９１）、検査処理を一旦終了する。警告が出力された場合、作業員等が被検査体１２を検査装置１０から取り出し、はんだの種類等の確認を行う。
　このように、第５の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、既知のはんだの種類でないときは警告を発することができるので、被検査体１２に使用されているはんだの種類を管理することができる。また、分類されたはんだの種類に応じて、はんだ付け状態の検査パラメータを読み込み、この検査パラメータにより基板検査データを切り替えることができるので、使用されているはんだの種類に応じて適切な検査を行うことができる。
１０　検査装置
１２　被検査体
２０　撮像ユニット（撮像部）
２１　カメラユニット
２３　照明ユニット（光源）
３０　制御ユニット（制御部）

Claims (14)

  1. 　被検査体を撮像する撮像部と、
    　制御部と、を有し、
    　前記制御部は、
    　前記撮像部により前記被検査体上のはんだ部分を撮像して画像データを取得し、
    　前記画像データから前記はんだ部分の表面に現れる凝固組織の形状の特徴量を抽出し、
    　前記特徴量に基づいて前記はんだ部分に使用されているはんだを分類する
    　検査装置。
  2. 　前記被検査体に対して照明光を照射する光源を有し、
    　前記制御部は、
    　前記はんだ部分の画像データを取得し、
    　前記画像データから、前記はんだ部分の角度と色情報とが対応付けられたＲＧＢ画像データを生成し、
    　前記ＲＧＢ画像データに基づいて前記はんだ部分に使用されているはんだを分類する
    　請求項１に記載の検査装置。
  3. 　前記照明光が異なる角度から照射する複数の光源を有する
    　請求項２に記載の検査装置。
  4. 　前記色情報は、ＨＳＶ表色系における色相に対応している
    　請求項３に記載の検査装置。
  5. 　前記制御部は、
    　前記被検査体の設計データ又は検査データに基づいて、はんだを分類するために使用する画像データを取得するはんだ部分の前記被検査体上の位置を特定する
    　請求項１～４のいずれか一項に記載の検査装置。
  6. 　前記制御部は、
    　分類されたはんだに基づいて、前記被検査体を検査する
    　請求項１～４のいずれか一項に記載の検査装置。
  7. 　前記制御部は、
    　分類されたはんだに応じて検査データを選択し、選択された前記検査データに基づいて前記被検査体を検査する
    　請求項１～４のいずれか一項に記載の検査装置。
  8. 　前記制御部は、
    　分類されたはんだに応じて検査データを生成し、生成された前記検査データに基づいて前記被検査体を検査する
    　請求項１～４のいずれか一項に記載の検査装置。
  9. 　前記特徴量は、前記はんだ部分の表面の凹凸の大きさまたは数である
    　請求項１～４のいずれか一項に記載の検査装置。
  10. 　前記制御部は、
    　前記特徴量とはんだとから機械学習により生成されたＡＩモデルに基づいて前記はんだを分類する
    　請求項１～４のいずれか一項に記載の検査装置。
  11. 　前記撮像部は、前記被検査体に対する撮像角度が異なる複数のカメラユニットを有し、
    　前記制御部は、
    　前記複数のカメラユニットで撮像された前記被検査体の画像データの各々を用いて前記はんだを分類する
    　請求項１～４のいずれか一項に記載の検査装置。
  12. 　前記制御部は、
    　複数のはんだ部分の画像データを取得し、各々の画像データにより、当該画像データに対応するはんだ部分のはんだを分類し、
    　分類されたはんだのうち、最も多いはんだを、前記被検査体で使用されているはんだであると分類する
    　請求項１～４のいずれか一項に記載の検査装置。
  13. 　前記制御部は、
    　前記はんだの分類に加えて、
    　前記被検査体上のはんだ部分のはんだ付け状態の検査を行う
    　請求項１～４のいずれか一項に記載の検査装置。
  14. 　前記制御部は、
    　分類されたはんだに応じて、検査を停止させる
    　請求項１～４のいずれか一項に検査装置。
PCT/JP2023/017990 2022-05-31 2023-05-12 検査装置 WO2023233973A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022088650A JP2023176393A (ja) 2022-05-31 2022-05-31 検査装置
JP2022-088650 2022-05-31

Publications (1)

Publication Number Publication Date
WO2023233973A1 true WO2023233973A1 (ja) 2023-12-07

Family

ID=89026399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/017990 WO2023233973A1 (ja) 2022-05-31 2023-05-12 検査装置

Country Status (2)

Country Link
JP (1) JP2023176393A (ja)
WO (1) WO2023233973A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063123A (ja) * 1992-06-24 1994-01-11 Hitachi Denshi Ltd 外観検査方法及び外観検査装置
JPH06273346A (ja) * 1993-03-24 1994-09-30 Hitachi Denshi Ltd はんだ付け状態検査装置
JPH09214131A (ja) * 1995-12-28 1997-08-15 Samsung Electron Co Ltd はんだ付け部検査方法及び検査装置
JPH1131880A (ja) * 1997-07-11 1999-02-02 Iwaki Electron Corp Ltd 半田付け外観検査装置
JP2008139260A (ja) * 2006-12-05 2008-06-19 I-Pulse Co Ltd 画像表示装置、外観検査装置、クリーム半田印刷機、及び画像表示方法
JP2017122614A (ja) * 2016-01-06 2017-07-13 株式会社サキコーポレーション 画像生成方法及び検査装置
US20180357755A1 (en) * 2015-07-17 2018-12-13 Koh Young Technology Inc. Inspection system and inspection method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063123A (ja) * 1992-06-24 1994-01-11 Hitachi Denshi Ltd 外観検査方法及び外観検査装置
JPH06273346A (ja) * 1993-03-24 1994-09-30 Hitachi Denshi Ltd はんだ付け状態検査装置
JPH09214131A (ja) * 1995-12-28 1997-08-15 Samsung Electron Co Ltd はんだ付け部検査方法及び検査装置
JPH1131880A (ja) * 1997-07-11 1999-02-02 Iwaki Electron Corp Ltd 半田付け外観検査装置
JP2008139260A (ja) * 2006-12-05 2008-06-19 I-Pulse Co Ltd 画像表示装置、外観検査装置、クリーム半田印刷機、及び画像表示方法
US20180357755A1 (en) * 2015-07-17 2018-12-13 Koh Young Technology Inc. Inspection system and inspection method
JP2017122614A (ja) * 2016-01-06 2017-07-13 株式会社サキコーポレーション 画像生成方法及び検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Basic lead free soldering", 17 November 2016 (2016-11-17), Retrieved from the Internet <URL:https://technote.ipros.jp/entry/basic-lead-free-soldering1/> *

Also Published As

Publication number Publication date
JP2023176393A (ja) 2023-12-13

Similar Documents

Publication Publication Date Title
JP6917781B2 (ja) 画像検査装置
US9518931B2 (en) Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium and recording device
US9536295B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device
JP6791631B2 (ja) 画像生成方法及び検査装置
US20060140471A1 (en) Image processing method, substrate inspection method, substrate inspection apparatus and method of generating substrate inspection data
CN108323179B (zh) 检查***及检查方法
JP2018204994A (ja) 画像検査装置
JP2018205002A (ja) 画像検査装置
JP4539355B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2019148438A (ja) 画像処理システムおよび設定方法
JP2015143656A (ja) 検査装置および検査方法
JP5566707B2 (ja) 外観検査装置及び外観検査方法
JP6917780B2 (ja) 画像検査装置
JPH061173B2 (ja) 曲面性状検査装置
JP2000205826A (ja) 画像処理方法および装置
WO2023233973A1 (ja) 検査装置
JP2007033126A (ja) 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置
JP2009294115A (ja) ３次元計測表示方法
WO2021084773A1 (ja) 画像処理システム、設定方法およびプログラム
JP2018205001A (ja) 画像検査装置
JP2018205000A (ja) 画像検査装置
JP2018017608A (ja) 回路基板の検査方法及び検査装置
JP2000018919A (ja) 撮像装置，光学式測定装置および光学式検査装置
JP4507785B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2006098093A (ja) 基板検査装置および基板検査方法並びに基板検査装置の検査ロジック生成装置および検査ロジック生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23815733

Country of ref document: EP

Kind code of ref document: A1