WO2020145208A1 - 三次元形状測定装置、三次元形状測定方法及びプログラム - Google Patents

三次元形状測定装置、三次元形状測定方法及びプログラム Download PDF

Info

Publication number
WO2020145208A1
WO2020145208A1 PCT/JP2019/051531 JP2019051531W WO2020145208A1 WO 2020145208 A1 WO2020145208 A1 WO 2020145208A1 JP 2019051531 W JP2019051531 W JP 2019051531W WO 2020145208 A1 WO2020145208 A1 WO 2020145208A1
Authority
WO
WIPO (PCT)
Prior art keywords
height data
height
dimensional shape
measurement
data
Prior art date
Application number
PCT/JP2019/051531
Other languages
English (en)
French (fr)
Inventor
貴行 西
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to DE112019006589.0T priority Critical patent/DE112019006589T5/de
Priority to CN201980087182.1A priority patent/CN113227707B/zh
Publication of WO2020145208A1 publication Critical patent/WO2020145208A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Definitions

  • the present invention relates to a three-dimensional shape measuring apparatus, and more particularly to a three-dimensional shape measuring apparatus capable of acquiring height information of a measurement target.
  • a pattern having a periodicity is projected from a projection means such as a projector onto a measurement target, and the measurement target in a state where the pattern is projected is measured by a camera or the like.
  • a phase shift method is known in which a three-dimensional shape of an object to be measured is obtained by capturing an image with an image capturing unit and using the captured two-dimensional image.
  • the height of the measurement target is measured by analyzing the pattern distortion that occurs depending on the shape of the measurement target surface (unevenness, etc.) in the captured image, and the three-dimensional shape is determined based on this.
  • the pattern may be blocked and a shadow may be generated, which may make it impossible to measure the height.
  • multiple patterns should be projected on the measurement target from different directions. It is common to reduce the shadowed area by arranging the projection means (1) (for example, Patent Document 1). In this way, a plurality of height data is obtained from a plurality of images of the pattern projected from the plurality of projecting means, these are combined to obtain one height data, and the three-dimensional shape is measured. ..
  • the height standards for the measurement target are unified, but the above standards may be broken in each projection method due to changes over time or accidents. Further, noise may be generated due to adhesion of foreign matter. A three-dimensional shape obtained by combining a plurality of height data acquired in such a state becomes an inappropriate shape.
  • the reliability of the integrated height data is improved by integrating the multiple height data acquired by pattern irradiation from multiple projection units and calculating the integrated height data of the measurement target.
  • a technique for making it possible is proposed (for example, Patent Document 2).
  • Patent Document 2 after obtaining height data of a measurement target for each pattern irradiated from a plurality of projection units, the height data of the projection unit having the highest reliability is used as a reference, It is described that the reliability of the integrated height data is improved by aligning and integrating the remaining height data. Then, the height, the signal-to-noise ratio, the amplitude obtained for each projection unit, the amplitude, the noise area is obtained using the visibility information and gray information, which are functions having the average brightness as an intermediary variable, among the data of each projection unit. It is described that the data with the least noise is the data with the highest reliability (that is, the reference).
  • the data with the least noise is treated as the reference data, but the amount of noise does not necessarily indicate the accuracy of the height data.
  • the present invention has been made in view of the above situation, and synthesizes a plurality of height data obtained from a plurality of images of a measurement target on which a pattern is projected from a plurality of projection means, and performs the measurement.
  • An object of the present invention is to provide a technique for obtaining accurate synthetic data when measuring a three-dimensional shape of an object.
  • the present invention adopts the following configurations.
  • a three-dimensional shape measuring apparatus provides a plurality of projecting means for projecting a pattern onto a measurement target, and an image including the measurement target on which the pattern is projected for each pattern projected by the plurality of projection means. Having a photographing means for photographing, and a measuring means for measuring the three-dimensional shape of the measuring object by processing the image photographed by the photographing means, and the measuring means, from the image, The height data of the measurement target is calculated for each pattern projected by the plurality of projection means, and the height of the measurement reference point preset for the measurement target is calculated from the calculated height data. The height value selects the height data closest to the preset height assumed value as the reference height data, and the height of the reference height data and all other calculated height data is calculated. Differences are respectively obtained, and correction is performed to offset all the height data other than the reference height data by the difference, and then the calculated height data are combined, The three-dimensional shape of the measurement target is measured based on the height data thus obtained.
  • the height data closest to the predetermined height value is used as the reference data, and the other height data is corrected according to the reference data. Since each data is synthesized in the above, it is possible to obtain synthetic data with a small error from the assumed height value.
  • the assumed height value is set as the design value after the calibration of the device, even if the calibration of the device is broken due to a change with time or the like, the adverse effect is minimized and the accuracy is high. Synthetic data can be obtained. Then, by measuring the three-dimensional shape of the measurement target based on the combined data, it is possible to obtain a highly reliable measurement result.
  • the measurement reference point may be an area in which height data having a small error from the actual height can be calculated, even if an image of any pattern projected by the plurality of projection means is taken.
  • the measurement target is an electronic circuit board or a component arranged on the electronic circuit board
  • the measurement reference point is a fiducial mark provided on the electronic circuit board or the electronic circuit board. It may be the substrate surface.
  • the measurement reference point may be a jig installed in the three-dimensional shape measuring apparatus, and the photographing means may photograph the jig together with the measurement target. In such a place, there is no possibility that the projection pattern will be transmitted, and there is usually no flat structure around the projection pattern. Therefore, height data with less error can be calculated from an image on which any pattern is projected, which is suitable as a measurement reference point.
  • the measuring means may determine whether or not each of the calculated height data has an abnormality.
  • the measurement may be stopped or a warning may be issued by some output means.
  • the present invention can be understood as a three-dimensional shape measuring apparatus having at least a part of the above-mentioned configurations and functions. Further, the present invention can be understood as an inspection device, a three-dimensional scanner, or an object recognition device provided with such a three-dimensional shape measuring device.
  • the three-dimensional shape measuring method is a method for measuring a three-dimensional shape of a measurement target, and a height estimated value of a measurement reference point serving as a reference for measuring the height of the measurement target.
  • a step of setting an assumed height value a first projection step of projecting a video pattern onto the measurement target from a first projection unit, and a measurement target on which the video pattern is projected in the first projection step.
  • a second image capturing step of capturing an image including the image, and height data of the measurement target is calculated for each image from the images captured in the first image capturing step and the second image capturing step.
  • the height data of the height of the measurement reference point is the value closest to the estimated height value.
  • Selection as a height data, a reference selection step, a difference value between the reference height data and other height data, a difference calculation step, and height data other than the reference height data A height data correction step, a height data corrected in the height data correction step, and the reference height data are combined with each other to correct the difference value obtained in the difference calculation step.
  • a three-dimensional shape measuring step of measuring the three-dimensional shape of the measurement object based on the synthetic data created in the synthetic data creating step.
  • the measurement target is an electronic circuit board or a component arranged on the electronic circuit board
  • the measurement reference point is a fiducial mark provided on the electronic circuit board or the electronic circuit board. It may be the substrate surface.
  • the measurement reference point may be a jig in the device in which the measurement target is arranged, and the jig may be captured together with the measurement target in each of the imaging steps.
  • it may further include a height data abnormality confirmation step of determining whether or not each height data calculated in the height data calculation step has an abnormality.
  • the method further includes a difference registration step of storing the difference value obtained in the difference calculation step in a storage device, and the height data correction step includes the difference registered in the difference registration step.
  • the correction of offsetting the difference value may be performed by referring to the value of.
  • the present invention can also be understood as a program for causing a three-dimensional shape measuring apparatus to execute the above method, and a computer-readable recording medium in which such a program is recorded non-temporarily.
  • FIG. 1 is a schematic diagram showing the configuration of a three-dimensional shape measuring apparatus according to an application example of the present invention.
  • FIG. 2 is a flowchart showing the flow of the three-dimensional shape measuring process of the three-dimensional shape measuring apparatus according to the application example of the invention.
  • FIG. 3A is a schematic diagram showing a hardware configuration of the board inspection apparatus according to the first embodiment.
  • FIG. 3B is a schematic plan view of the board inspection apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating the appearance of the inspection target according to the first embodiment.
  • FIG. 5 is a functional block diagram showing the functions of the control device according to the first embodiment.
  • FIG. 6 is a flowchart showing the procedure of the board inspection process according to the first embodiment.
  • FIG. 1 is a schematic diagram showing the configuration of a three-dimensional shape measuring apparatus 9 according to this application example.
  • the three-dimensional shape measuring device 9 is a device for measuring the three-dimensional shape of the measuring object O, and as shown in FIG. 1, the main components are projectors 91a and 91b as projecting means, a camera 92 as photographing means, and a measuring device. It has a control device 93 (for example, a computer) as means.
  • the projectors 91a and 91b are means for projecting a pattern onto a measurement target.
  • the pattern is, for example, a striped pattern in which a change in luminance shows periodicity, and the phase can be temporally changed.
  • the pattern projected from the projector 91a is referred to as a pattern a
  • the pattern projected from the projector 91b is referred to as a pattern b.
  • the projectors 91a and 91b are arranged so as to have a constant inclination angle with respect to the measurement object O.
  • the camera 92 is a means for taking an image of the measuring object O in which the pattern is projected and outputting a digital image.
  • the image captured by the image capturing unit is also referred to as an observation image.
  • the camera 92 is configured to include, for example, an optical system and an image sensor. As shown in FIG. 1, the camera 92 is arranged so as to photograph the measuring object O from directly above the measuring object O.
  • the projector 91a and the projector 91b are arranged at positions facing each other along the circumferential direction around the camera 92.
  • the control device 93 has functions of controlling the projectors 91a and 91b, the camera 92 and the transport mechanism, processing an image captured by the camera 92, measuring a three-dimensional shape, etc., and corresponds to the measuring means in the present invention.
  • the control device 93 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a non-volatile storage device (eg, hard disk drive, flash memory, etc.), an input device (eg, keyboard, mouse, touch panel, etc.), display device. It can be configured by a computer including (for example, a liquid crystal display).
  • the three-dimensional shape measuring device 9 When the three-dimensional shape measuring device 9 having the above configuration measures the three-dimensional shape of the measurement object O, a plurality of images are displayed while changing the phase of the pattern projected from each projector onto the measurement object O.
  • the control device 93 measures the three-dimensional shape of the measurement object O by, for example, a phase shift method or the like, and the control device 93 processes the captured image by the camera 92.
  • the control device 93 has an image acquisition unit 931, a height data calculation unit 932, a correction value calculation unit 933, a combined data creation unit 934, and a three-dimensional shape measurement unit 935 as functions related to the three-dimensional shape measurement. ..
  • the image acquisition unit 931 has a function of capturing a plurality of observation images used for three-dimensional shape measurement from the camera 92. For example, four images in which the phases of the patterns projected on the measurement object O are different by 1 ⁇ 4 ⁇ are It is acquired for each of a and pattern b.
  • the observed image of the pattern a is referred to as an observed image a
  • the observed image of the pattern b is referred to as an observed image b.
  • the height data calculation unit 932 has a function of calculating height data of the measuring object O based on the plurality of acquired observation images. For example, based on the two-dimensional phase difference of the pixel representing the position of one point on the surface of the measurement object O among the acquired four observation images, the height of the point is calculated from the observation image a and the observation image b. Ask for each.
  • the height data calculated from the observation image a will be described as the height data a
  • the height data calculated from the observation image b will be described as the height data b.
  • the correction value calculation unit 933 calculates the height data a and the height data b obtained by the height data calculation unit 932 and the estimated height value that is ideal height data registered in advance in the storage device.
  • the height data having the closest value to the assumed height value is compared and selected as the reference height data. Then, the difference between the height data selected as the height data and the other height data is calculated as a correction value.
  • the combined data creation unit 934 performs correction to offset height data other than the reference height data by the amount of the correction value calculated by the correction value calculation unit 933, and then combines all the height data. Create the synthesized data.
  • the height data can be combined by, for example, connecting a plurality of height data profiles by a predetermined method or taking an average. As a result, due to the structure of the measurement object O, a pattern projection from one direction causes a shadow, and synthetic data that compensates for the loss of the height value can be obtained.
  • the three-dimensional shape measuring unit 935 measures the three-dimensional shape of the measuring object O based on the obtained combined data.
  • the control device 93 acquires an estimated height value of the measurement reference point for the measurement object O (step S901). Specifically, for example, the user stores the design value of the measurement reference point as the assumed height value in the storage means via the input means.
  • the control device 93 causes the projector 91a to project the pattern a onto the measurement object O (step S902), and causes the camera 92 to capture an image of the measurement object O on which the pattern a is projected.
  • the acquisition unit 931 acquires the observation image a (step S903).
  • the control device 93 similarly causes the projector 91b to project the pattern b (step S904), causes the camera 92 to capture an image of the measurement target O on which the pattern a is projected, and the image acquisition unit 931 causes The observation image b is acquired (step S905).
  • the height data calculation unit 932 obtains the height data a from the observation image a and the height data b from the observation image b (step S906). Then, the correction value calculation unit 933 compares the value of the height of the measurement reference point of the height data a and the height data b with the estimated value of the height of the measurement reference point acquired in advance, and assumes a higher height. Height data having a value close to the value is selected as the reference height data (step S907). Here, description will be made assuming that the height data a is temporarily selected as the reference height data.
  • the correction value calculation unit 933 further calculates the difference in height value between the height data a and the height data b, which are the reference height data, and sets this as the correction value for the height data b (step S908). .. Specifically, the height value of the height data a may be subtracted from the height value of the height data a to obtain the difference.
  • the combined data creation unit 934 performs a correction on the height data b by offsetting the correction value (step S909). Specifically, for example, if the difference obtained by subtracting the height data b from the height data a in step S908 is a positive value, correction is performed by adding the difference to the height data b. On the contrary, when the difference is a negative value, the height data b is corrected by subtracting the difference.
  • the height data after correcting the height data b will be referred to as height data b2.
  • the combined data creation unit 934 creates the combined data by combining the height data a and the height data b2 (step S910), and the three-dimensional shape measuring unit 935 makes the combined data based on the obtained combined data.
  • the three-dimensional shape of the measuring object O is measured (step S911), and the series of routines ends.
  • the positional relationship of the projectors changes due to, for example, aging, and the height data of each projector with respect to the same plane shifts in the height direction. Even in such a case, accurate combined height data can be obtained. As a result, the reliability of three-dimensional shape measurement can be improved.
  • the board inspection apparatus 1 is an appearance inspection apparatus that inspects a three-dimensional shape of an electronic circuit board by a so-called phase shift method, and FIGS. 3A and 3B show an outline of a hardware configuration of the board inspection apparatus 1.
  • the board inspection apparatus 1 has projectors 11c, 11d, 11e, and 11f, a camera 12, a controller 13, a board transfer unit 14, a board holding mechanism 15, and a main body as main hardware configurations. It has a tool J.
  • the projectors 11c, 11d, 11e, 11f are means for projecting a pattern on the surface of the substrate K.
  • the pattern is, for example, a striped pattern in which a change in luminance shows periodicity, and the phase can be temporally changed.
  • the pattern projected from the projector 11c is pattern c
  • the pattern projected from the projector 11d is pattern d
  • the pattern projected from the projector 11e is pattern e
  • the pattern projected from the projector 11f is pattern f. ..
  • the respective projectors are arranged so as to have a constant inclination angle with respect to the substrate K.
  • the camera 12 is a photographing means for photographing the substrate K on which the pattern is projected and outputting a digital image.
  • the camera 12 is configured to include, for example, an optical system and an image sensor.
  • the camera 12 is arranged so as to photograph the substrate K from directly above the substrate K.
  • the respective projectors are arranged at equal intervals with the camera 12 as the center and being displaced by 90 degrees in the circumferential direction.
  • the control device 13 has functions such as control of each projector, the camera 12, and the board transfer means 14, processing of an image captured from the camera 12, and three-dimensional shape measurement, and corresponds to the measurement means in the present invention.
  • the control device 13 is a computer including a CPU, a RAM, a non-volatile storage device (eg, hard disk drive, flash memory, etc.), an input device (eg, keyboard, mouse, touch panel, etc.), and a display device (eg, liquid crystal display). It can be configured by.
  • Each function of the control device 13, which will be described later, can be realized by loading a program stored in a nonvolatile storage device into the RAM and causing the CPU to execute the program. However, all or some of the functions of the control device 13 may be replaced with dedicated hardware. Further, the functions of the control device 13 may be realized by the cooperation of a plurality of computers by using the technology of distributed computing or cloud computing.
  • the board transfer means 14 is configured to include, for example, a rail on which the board K can be placed and transferred, transfers the board K to the inspection position, and carries the board K after the inspection from the inspection position.
  • the substrate holding mechanism 15 is a mechanism that holds the substrate K conveyed to the inspection position during the inspection, and holds the substrate K by means such as an air chuck or a grip claw.
  • the jig J is arranged in the substrate holding mechanism 15 so that the surface thereof is located at the same height as the reference plane of the substrate K for confirming the arrangement state of the substrate K.
  • the board K is inspected in the board inspecting apparatus 1 having the above configuration as follows. That is, while changing the phase of the pattern projected from each projector onto the substrate K, a plurality of images are captured by the camera 12, and the captured images are processed by the control device 13 by the phase shift method. The three-dimensional shape is measured and it is determined whether it meets a predetermined inspection standard.
  • FIG. 4 illustrates the appearance of the board K to be inspected.
  • F in the figure is a fiducial mark as a measurement reference point in the present embodiment.
  • FIG. 5 is a functional block diagram showing functions related to the three-dimensional shape measurement of the control device 13.
  • the control device 13 has an image acquisition unit 131, a projector light amount determination unit 132, a height data calculation unit 133, a height data abnormality determination unit 134, a correction value calculation unit 135, and a correction value registration unit as functions related to three-dimensional shape measurement.
  • 136 a synthetic data creation unit 137, a three-dimensional shape measuring unit 138, and a pass/fail determination unit 139.
  • the image acquisition unit 131, the height data calculation unit 133, and the three-dimensional shape measurement unit 138 are the same as the functions described in the application example, and thus detailed description will be omitted.
  • the observation image obtained by photographing the pattern c is the observation image c
  • the observation image obtained by photographing the pattern d is the observation image d
  • the observation image obtained by photographing the pattern e is the observation image e
  • the observation image obtained by photographing the pattern f Is called an observation image f.
  • the height data calculated from the observation image c is the height data c
  • the height data calculated from the observation image d is the height data d
  • the height data calculated from the observation image e is the height data e
  • Height data calculated from the observed image f is height data f.
  • the projector light amount determination unit 132 determines whether or not the setting of the light amount of the pattern irradiated on the fiducial mark F is appropriate when the observation image obtained by capturing the fiducial mark F is acquired, and is appropriate for the fiducial mark F. When it is determined that the pattern has not been irradiated with a sufficient light amount, the light amount setting for retry is applied and the pattern is irradiated again.
  • the height data abnormality determination unit 134 determines whether or not the calculated height data value is in a normal range. Specifically, when the histogram of the pixels forming the measurement reference point (fiducial mark F in this embodiment) in the observed image forms one mountain with the mode value as the apex, It is determined that the height data has no abnormality. On the other hand, if there are a plurality of peaks in the histogram, the height data abnormality determination unit 134 determines that there is some abnormality. Specifically, it is conceivable that there is an abnormality such as the substrate K vibrating at the time of photographing, or the measurement reference portion has a shadowed portion for some reason. When it is determined that there is an abnormality in this way, the correction value registration process described below is canceled.
  • the height data abnormality determination unit 134 also determines that there is an abnormality in the height data even when the height value of the measurement reference point is significantly different from the predetermined height assumed value. For example, a case where the predetermined height assumed value is 3 mm but the calculated height data is 6 mm can be considered. In such a case, there may be a problem that the substrate K is not properly arranged, there is a problem in the device, and the like, so that a warning may be issued by some output means.
  • the correction value calculation unit 135 compares the height value of the measurement reference point of the height data c, the height data d, the height data e, and the height data f with a predetermined height assumed value, and calculates the height.
  • the height data closest to the assumed value is selected as the reference height data.
  • the difference between the height data selected as the height data and the other height data is calculated as a correction value.
  • the correction value is calculated for each height data other than the reference height data. For example, when the height data c is selected as the reference height data, the correction value d, the correction value e, and the correction value f are respectively set for the height data d, the height data e, and the height data f. , Is calculated.
  • the height data c is selected as the reference height data.
  • the correction value registration unit 136 causes the storage unit to store the correction value d, the correction value e, and the correction value f calculated by the correction value calculation unit 135.
  • the composite data creation unit 137 calls the correction value corresponding to each of the height data d, the height data e, and the height data f from the storage unit, and performs the correction to offset the correction value from each height data.
  • the height data d2, the same height data e2, and the same height data f2 obtained by correcting each height data are obtained, and these are combined with the height data c to create combined data.
  • the pass/fail determination unit 139 determines whether or not the three-dimensional shape of the substrate K measured by the three-dimensional shape measurement unit 138 satisfies a predetermined standard, and outputs the result by any output means.
  • the control device 13 acquires an estimated height value of the fiducial mark F, which is a measurement reference point for the substrate K (step S101).
  • the user may store the height design value (for example, 3 mm) of the reference surface of the substrate K in the storage means as the estimated height value via the input means.
  • the image acquisition unit 131 projects a pattern from each projector onto the substrate K, and the camera 12 captures the pattern to acquire an observed image for each of the pattern c, the pattern d, the pattern e, and the pattern f ( Step S102).
  • the specific processing is the same as in the case of the application example, so detailed description will be omitted.
  • the projector light amount determination unit 132 determines whether or not the setting of the light amount of the pattern irradiated on the fiducial mark F in the observation image c, the observation image d, the observation image e, and the observation image f is appropriate. Is performed (step S103). If the fiducial mark F is not illuminated with a pattern with an appropriate amount of light, the reliability of the height data obtained will be low. The light amount setting of is applied and the pattern is irradiated again.
  • the height data calculation unit 133 obtains height data c, height data d, height data e, and height data f from the observation image c, the observation image d, the observation image e, and the observation image f, respectively. Calculate (step S104).
  • the height data abnormality determination unit 134 determines whether the calculated values of the height data are within the normal range, that is, whether there is an abnormality (step S105). Here, if there is no abnormality, the process proceeds to step S106, and the reference height data is calculated. On the other hand, if it is determined that there is an abnormality, the processes of steps S106 to S108 are skipped and the process proceeds to step S109.
  • step S106 the correction value calculation unit 135 compares the value of the height of the measurement reference point (fiducial mark F) of each height data with the assumed height value acquired in step S101. Height data having a value close to the assumed height value is selected as the reference height data.
  • the reference height data is the height data c.
  • the correction value calculation unit 135 further calculates a difference in height value between the height data c that is the reference height data and the other height data, and calculates the correction value d, the correction value e, and the correction value f. Yes (step S107).
  • the correction value registration unit 136 performs a process of registering the correction value d, the correction value e, and the correction value f calculated by the correction value calculation unit 135 (step S108). Specifically, each correction value is stored in the storage means.
  • the composite data creation unit 137 calls the correction values corresponding to the height data d, the height data e, and the height data f from the storage unit, and corrects the offset values by the correction value from each height data. Is performed (step S109). Then, the height data d2, the same height data e2, and the same height data f2, which are the data after the correction of each height data, are obtained, these are combined with the height data c, and the combined height data is obtained. Create (step S110).
  • the three-dimensional shape measuring unit 138 measures the three-dimensional shape of the substrate K based on the obtained combined height data (step S111), and the pass/fail judgment unit 139 determines the substrate based on the three-dimensional shape. It is determined whether K satisfies a predetermined criterion, the result is output (step S112), and the series of routines ends.
  • the projector light amount determination unit 132 automatically determines whether or not the light amount of the projector is appropriate. Therefore, the measurement process is performed based on the observation image acquired with an inappropriate light amount. Can be suppressed, and the three-dimensional shape can be measured with high reliability. Further, since the height data abnormality determination unit 134 determines whether or not the calculated height data is appropriate, it is possible to prevent the composite height data from being created using inappropriate data. The three-dimensional shape can be measured with high reliability.
  • the measurement reference location is the fusible mark provided on the substrate K to be inspected, but the measurement reference location does not necessarily have to be the fusible mark.
  • the measurement reference location may be used as the measurement reference point.
  • the measurement reference point does not necessarily have to be provided for the inspection target.
  • the jig J provided in the board inspection device 1 may be used as the measurement reference point.
  • a shadowed area does not occur and the vibration of the transportation does not affect the area. Therefore, it is almost impossible to calculate an abnormal value when calculating the height data. Unthinkable. Therefore, when the jig J is used as the measurement reference point, it is possible to obtain height data with higher reliability than when the measurement reference point is provided on the substrate K to be inspected. Further, by this, the determination process by the height data abnormality determination unit 134 can be omitted.
  • the board inspection apparatus 1 has a configuration in which four projectors are arranged, but the number of projectors may be any number as long as it is two or more.
  • a plurality of projecting means (11c, 11d, 11e, 11f) for projecting a pattern onto a measurement object and the pattern is projected for each pattern projected by the plurality of projecting means.
  • the measuring means calculates height data of the measuring object from the image for each pattern projected by the plurality of projecting means, and among the calculated height data, the measuring object is calculated. For the height value of the measurement reference point set in advance, the height data closest to the preset height assumed value is selected as the reference height data, and the reference height data and all other values are selected.
  • the height difference from the calculated height data is obtained, and the correction is performed by offsetting the height difference with respect to all the height data other than the reference height data.
  • the three-dimensional shape measuring apparatus is characterized by synthesizing each of the height data thus obtained, and measuring the three-dimensional shape of the measurement target based on the synthesized height data.
  • another aspect of the present invention is a method for measuring a three-dimensional shape of a measurement target, which sets an assumed height value of a measurement reference point serving as a reference for measuring the height of the measurement target.
  • the value of the height of the measurement reference point is the height.
  • a reference selection step (S907) of selecting height data that is the closest value to the assumed value as reference height data, and a difference in height value between the reference height data and other height data is obtained.
  • the height data corrected in the height data correcting step is combined with the reference height data.
  • a three-dimensional shape measuring step (S911) of measuring the three-dimensional shape of the measurement target is provided.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

三次元形状測定装置は、複数のパターンが投影された複数の画像から、前記複数のパターン毎に、測定対象の高さデータを算出し、該算出されたそれぞれの高さデータのうち、前記測定対象に対して予め設定された測定基準箇所の高さの値が、予め設定された高さ想定値に最も近い高さデータを基準高さデータとして選択し、該基準高さデータとその他の全ての前記算出された高さデータとの高さの差異を求め、前記基準高さデータ以外の全ての前記高さデータに対して前記差違の分オフセットする補正を行ったうえで、前記算出された各高さデータを合成し、該合成された高さデータに基づいて前記測定対象の三次元形状を測定する。

Description

三次元形状測定装置、三次元形状測定方法及びプログラム
 本発明は、三次元形状の測定装置、特に測定対象の高さ情報を取得可能な三次元形状測定装置に関する。
 従来から、画像を用いて物体の三次元形状を測定する技術として、測定対象にプロジェクタ等の投影手段から周期性を有するパターンを投影し、該パターンが投影された状態の測定対象をカメラ等の撮影手段により撮影して、撮影された二次元画像を用いて測定対象の立体的形状を求める、位相シフト法が知られている。具体的には、撮影された画像において測定対象表面の形状(凹凸など)に依存して生じるパターンの歪みを解析することで、測定対象の高さを測定し、これに基づいて三次元形状を求める。
 この際、検査対象の表面の形状に起因して、パターンが遮られて影が生じ、そのために高さを測定できない場合が生じるため、測定対象に対して異なる方向からパターンを投影するように複数の投影手段を配置することで、影になる領域を減少させることが一般的である(例えば特許文献1)。このようにして複数の投影手段から照射されるパターンの投影された複数の画像から複数の高さデータを取得し、これらを合成して一の高さデータを得て、三次元形状を測定する。
 上記のような複数の投影手段については、測定対象に対する高さ基準が統一されているが、経時変化やアクシデントなどにより、各投影手段において上記の基準が崩れてしまう場合がある。また、異物の付着などによってノイズが発生することもある。このような状態で取得した複数の高さデータを合成して得られる三次元形状は、不適切な形状となってしまう。
 これに対して、複数の投影部からのパターン照射によって取得された複数の高さデータを統合して、測定対象物の統合高さデータを算出することにより、統合高さデータの信頼性を向上させる技術が提案されている(例えば、特許文献2)。
 具体的には、特許文献2には、複数の投影部から照射されるパターン毎の測定対象の高さデータを得た後に、信頼度の最も高い投影部に係る高さデータを基準にして、残りの高さデータを整列・統合させることにより、統合高さデータの信頼性を向上させることが記載されている。そして、投影部別に求められた高さ、信号対雑音比、振幅、平均明るさを媒介変数とする関数であるビジビリティ情報及びグレー情報などを用いてノイズ領域を求め、各投影部のデータのうちノイズが最も少ないものを、信頼度の最も高いデータとする(即ち基準とする)ことが記載されている。
特開2015-1381号公報 特開2012-112954号公報
 しかしながら、特許文献2に記載されたような手段によると、相対的にノイズの最も少ないデータを基準データとして扱うことになるが、ノイズの多寡は必ずしも高さデータの精度を示すことにはならないため、高さデータの精度が相対的に低いデータを基準データとしてしまう虞がある。また、そもそも全ての投影部からの照射パターンに基づいて取得される測定対象の高さデータの信頼度が低い(十分に高くない)場合であっても、そのようなデータの中から相対的に最も信頼度が高いデータを基準として処理を行うことになる。このように、客観的には信頼度が十分でない高さデータを用いて得られた統合高さデータ、ひいてはこれにより測定される三次元形状の精度は、低いものになる虞がある。
 本発明は、上記のような実情に鑑みてなされたものであり、複数の投影手段からパターンが投影された測定対象物の複数の画像から取得した複数の高さデータを合成して、前記測定対象物の三次元形状を測定する場合において、精度の良い合成データを得る技術を提供することを目的とする。
 前記の目的を達成するために、本発明は以下の構成を採用する。
 本発明に係る三次元形状測定装置は、測定対象に対してパターンを投影する複数の投影手段と、前記複数の投影手段が投影するパターン毎に、前記パターンが投影された前記測定対象を含む像を撮影する撮影手段と、前記撮影手段によって撮影された画像を処理することで、前記測定対象の三次元形状を測定する測定手段と、を有しており、前記測定手段は、前記画像から、前記複数の投影手段が投影するパターン毎に、前記測定対象の高さデータを算出し、該算出されたそれぞれの高さデータのうち、前記測定対象に対して予め設定された測定基準箇所の高さの値が、予め設定された高さ想定値に最も近い高さデータを基準高さデータとして選択し、該基準高さデータとその他の全ての前記算出された高さデータとの高さの差異をそれぞれ求め、前記基準高さデータ以外の全ての前記高さデータのそれぞれに対して前記差違の分オフセットする補正を行ったうえで、前記算出された各高さデータを合成し、該合成された高さデータに基づいて前記測定対象の三次元形状を測定する。
 上記のような構成によると、複数の高さデータを合成する際に、予め定める高さ想定値に最も近い高さデータを基準データとし、その他の高さデータを該基準データに合わせて補正したうえで各データを合成するため、高さ想定値との誤差が少ない合成データを得ることができる。これにより、例えば、高さ想定値を装置のキャリブレーション後の設計値としておくと、経時変化などによって装置のキャリブレーションが崩れている場合であっても、その悪影響を最小限にした精度の良い合成データを得ることができる。そして、当該合成データに基づいて測定対象の三次元形状を測定することで、信頼度の高い測定結果を得る事ができる。
 また、前記測定基準箇所は、前記複数の投影手段が投影するいずれのパターンを撮影した画像であっても、実際の高さとの誤差の少ない高さデータが算出できる領域であってもよい。このような構成によると、高さ想定値と算出されるそれぞれの高さデータとの誤差を少なくすることができるとともに、各高さデータ間における差も小さくすることができる。このため、より精度の良い合成データを得る事ができる。
 また、前記測定対象は、電子回路基板又は該電子回路基板に配置された部品であって、前記測定基準箇所は、前記電子回路基板に設けられたフィデューシャルマーク、又は、前記電子回路基板の基板面であってもよい。また、前記測定基準箇所は、前記三次元形状測定装置内に設置された治具であり、前記撮影手段は、前記測定対象と併せて前記冶具を撮影するものであってもよい。このような箇所は、投影パターンが透過する虞がなく、また、平坦で周辺に投影パターンの影になるような構造もないことが通常である。このため、いずれのパターンが投影された画像からでも誤差の少ない高さデータを算出することができ、測定基準箇所とするのに好適である。
 また、前記測定手段は、前記算出された各高さデータに異常があるか否かを判定してもよい。異常がある場合には、測定を中止してもよいし、何らかの出力手段によって警告を発信するようにしてもよい。このような構成によれば、正常でない高さデータが混在することによって、信頼度の低い合成データを取得することを防止することができる。また、明らかに異常な値が算出された場合には、測定対象の配置状態、或いは装置に何らかの不具合が発生している可能性があり、この確認を早期に行うことが可能になる。
 なお、本発明は、上記構成ないし機能の少なくとも一部を有する三次元形状測定装置として捉えることができる。また、本発明は、かかる三次元形状測定装置を備える検査装置や3次元スキャナや物体認識装置として捉えることもできる。
 また、本発明に係る三次元形状の測定方法は、測定対象の三次元形状を測定するための方法であって、前記測定対象の高さ測定の基準となる測定基準箇所の高さ想定値を設定する、高さ想定値設定ステップと、前記測定対象に第1の投影手段から映像パターンを投影する第1の投影ステップと、前記第1の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第1の撮影ステップと、測定対象に第2の投影手段から映像パターンを投影する第2の投影ステップと、前記第2の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第2の撮影ステップと、前記第1の撮影ステップ及び前記第2の撮影ステップで撮影された各画像から、当該画像毎に前記測定対象の高さデータを算出する、高さデータ算出ステップと、前記高さデータ算出ステップで算出された複数の高さデータのうち、前記測定基準箇所の高さの値が前記高さ想定値に最も近い値である高さデータを基準高さデータとして選択する、基準選択ステップと、前記基準高さデータと、その他の高さデータとの差違の値を求める、差違分算出ステップと、前記基準高さデータ以外の高さデータに対して、前記差違分算出ステップで求められた差違の値をオフセットする補正を行う、高さデータ補正ステップと、前記高さデータ補正ステップで補正された高さデータと、前記基準高さデータとを合成する、合成データ作成ステップと、前記合成データ作成ステップで作成された合成データに基づいて、前記測定対象の三次元形状を測定する、三次元形状測定ステップと、を有する。
 また、前記測定対象は、電子回路基板又は該電子回路基板に配置された部品であって、前記測定基準箇所は、前記電子回路基板に設けられたフィデューシャルマーク、又は、前記電子回路基板の基板面であってもよい。また、前記測定基準箇所は前記測定対象が配置される装置内の治具であって、前記の各撮影ステップでは、前記測定対象と併せて、前記冶具が撮影されるようにしてもよい。
 また、前記高さデータ算出ステップで算出された各高さデータに異常があるか否かを判定する、高さデータ異常確認ステップをさらに有していてもよい。このような構成によれば、正常でない高さデータが混在することによって、信頼度の低い合成データを取得することを防止することができる。
 また、前記差違分算出ステップで求められた差違の値を記憶装置に記憶させる、差違分登録ステップをさらに有しており、前記高さデータ補正ステップでは、前記差違分登録ステップで登録された差違の値を参照することによって、差違の値をオフセットする補正を行うようにしてもよい。このような構成であると、同一形状の測定対象を多数測定する際に、基準高さデータを算出する処理を省略することができ、効率的である。
 また、本発明は、上記の方法を三次元形状測定装置に実行させるためのプログラム、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。
 上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
 本発明によれば、複数の投影手段からパターンが投影された測定対象物の複数の画像から取得した複数の高さデータを合成して、前記測定対象物の三次元形状を測定する場合において、精度の良い合成データを得る技術を提供することができる。
図1は本発明の適用例に係る三次元形状測定装置の構成を示す模式図である。 図2は本発明の適用例に係る三次元形状測定装置の三次元形状測定処理の流れを示すフローチャートである。 図3Aは実施形態1に係る基板検査装置のハードウェア構成を示す模式図である。図3Bは実施形態1に係る基板検査装置の概略平面図である。 図4は実施形態1に係る検査対象の外観を例示する図である。 図5は実施形態1に係る制御装置の機能を示す機能ブロック図である。 図6は実施形態1に係る基板検査処理の手順を示すフローチャートである。
 以下、図面を参照して、本発明の実施形態の一例について説明する。
 <適用例>
 (適用例の構成)
 本発明は例えば、図1に示すような三次元形状測定装置に適用することができる。図1は本適用例に係る三次元形状測定装置9の構成を示す模式図である。三次元形状測定装置9は、測定対象物Oの三次元形状を測定する装置であり、図1に示すように主な構成として投影手段としてのプロジェクタ91aおよび91b、撮影手段としてのカメラ92、測定手段としての制御装置93(例えばコンピュータ)、を有している。
 プロジェクタ91aおよび91bは、測定対象に対してパターンを投影する手段である。ここで、パターンとは、例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。本適用例では、プロジェクタ91aから投影されるパターンをパターンa、プロジェクタ91bから投影されるパターンをパターンbとする。プロジェクタ91a、91bはそれぞれ測定対象物Oに対して一定の傾斜角を有するように配置される。
 カメラ92は、パターンが投影された状態の測定対象物Oを撮影し、デジタル画像を出力する手段である。なお、以下では、撮影手段によって撮影された画像を観測画像とも表記する。カメラ92は例えば、光学系とイメージセンサを有して構成される。図1に示すように、カメラ92は測定対象物Oの真上から測定対象物Oを撮影するように配置される。なお、プロジェクタ91aとプロジェクタ91bは、カメラ92を中心に円周方向に沿って互いに対向する位置に配置される。
 制御装置93は、プロジェクタ91a、91b、カメラ92及び搬送機構の制御、カメラ92から取り込まれた画像に対する処理、三次元形状測定などの機能を有しており、本発明における測定手段に該当する。制御装置93は、CPU(Central Processing Unit)、RAM(Random Access Memory)、不揮発性の記憶装置(例えば、ハードディスクドライブ、フラッシュメモリなど)、入力装置(例えば、キーボード、マウス、タッチパネルなど)、表示装置(例えば、液晶ディスプレイなど)を備えるコンピュータにより構成することができる。
 以上の構成を有する三次元形状測定装置9において測定対象物Oの三次元形状の測定を行う際には、各プロジェクタから測定対象物Oに投影するパターンの位相を変えながら、複数枚の画像をカメラ92によって撮影し、撮影された画像を制御装置93が、例えば位相シフト法などによって処理することで、測定対象物Oの三次元形状を測定する。
 (制御装置の機能)
 続いて、制御装置93の三次元形状測定に関わる機能を説明する。制御装置93は、三次元形状測定に関わる機能として、画像取得部931、高さデータ算出部932、補正値算出部933、合成データ作成部934、三次元形状測定部935、を有している。
 画像取得部931はカメラ92から三次元形状測定に用いる複数の観測画像を取り込む機能であり、例えば、測定対象物Oに投影されるパターンの位相が4分の1πずつ異なる画像4枚を、パターンa、パターンbのそれぞれで取得する。本適用例では、パターンaを撮影した観測画像を観測画像a、パターンbを撮影した観測画像を観測画像bという。
 高さデータ算出部932は取得された複数の観測画像に基づいて、測定対象物Oの高さデータを算出する機能である。例えば、取得した4枚の観測画像間における測定対象物Oの表面上の一点の位置を表す画素の二次元の位相差に基づいて、当該点の高さを、観測画像a、観測画像bのそれぞれで求める。本適用例では、観測画像aから算出される高さデータを高さデータa、観測画像bから算出される高さデータを高さデータbとして説明する。
 補正値算出部933は、高さデータ算出部932によって求めた、高さデータa及び高さデータbと、予め記憶装置に登録されている理想的な高さデータである高さ想定値とを比較し、高さ想定値に最も近い値の高さデータを、基準高さデータとして選定する。そして、高さデータとして選択された高さデータとその他の高さデータとの差分を、補正値として算出する。
 合成データ作成部934は、基準高さデータ以外の高さデータに対して、補正値算出部933で算出された補正値の分をオフセットする補正を行ったうえで、全ての高さデータを合成した合成データを作成する。なお、高さデータの合成は、例えば複数の高さデータのプロファイルを所定の方法でつなげる、平均を取る、などの方法により行うことができる。これにより、測定対象物Oにおいて、構造上、一方向からのパターン投影では影となってしまい、高さの値が欠損した分を補った合成データを得る事ができる。
 三次元形状測定部935は、得られた合成データに基づいて測定対象物Oの三次元形状を測定する。
 (三次元形状測定処理の流れ)
 次に、図2を参照して、本適用例における三次元形状測定の手順について説明する。まず、制御装置93は、測定対象物Oについての測定基準箇所の高さ想定値を取得する(ステップS901)。具体的には、例えば、ユーザーが入力手段を介して、測定基準箇所の設計値を高さ想定値として、記憶手段に記憶する。
 次に、制御装置93は、測定対象物Oに対して、プロジェクタ91aからパターンaを投影させ(ステップS902)、カメラ92によってパターンaが投影されている状態の測定対象物Oを撮影させて画像取得部931が観測画像aを取得する(ステップS903)。続けて、制御装置93は、プロジェクタ91bについても同様に、パターンbを投影させ(ステップS904)、カメラ92によってパターンaが投影されている状態の測定対象物Oを撮影させて画像取得部931が観測画像bを取得する(ステップS905)。
 次に、高さデータ算出部932が観測画像aから高さデータaを、観測画像bから高さデータbをそれぞれ求める(ステップS906)。そして、補正値算出部933が、高さデータa及び高さデータbの測定基準箇所の高さの値と、予め取得された測定基準箇所の高さ想定値とを比較し、より高さ想定値に近い値を有する高さデータを基準高さデータとして選定する(ステップS907)。ここでは、仮に高さデータaが基準高さデータとして選定されたものとして説明を行う。補正値算出部933はさらに、基準高さデータである高さデータaと高さデータbとの高さの値の差異を算出し、これを高さデータbの補正値とする(ステップS908)。具体的には、高さデータaの高さの値から、高さデータbの高さの値を減じてその差を求めればよい。
 次に、合成データ作成部934は、高さデータbに対して、補正値の分をオフセットする補正を行う(ステップS909)。具体的には、例えば、ステップS908で高さデータaから高さデータbを減じた差が、正の値であった場合には、高さデータbに当該差の分を加える補正を行う。逆に上記の差が負の値であった場合には、高さデータbから当該差の分を減ずる補正を行う。以下、高さデータbに補正を行った後の高さデータを高さデータb2とする。
 そして、合成データ作成部934は、高さデータaと、高さデータb2とを合成して合成データを作成し(ステップS910)、三次元形状測定部935が、得られた合成データに基づいて測定対象物Oの三次元形状を測定して(ステップS911)、一連のルーティンが終了する。
 以上のような、本適用例に係る三次元形状測定装置9の構成により、例えば経時変化などによりプロジェクタの配置関係が変化し、同一平面に対する各プロジェクタの高さデータが高さ方向にずれてしまう場合であっても、精度のよい合成高さデータを得ることができる。ひいては、三次元形状測定の信頼性を向上させることができる。
 <実施形態1>
 次に、本発明を実施するための形態の他の例である基板検査装置1について説明する。ただし、この実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
 (基板検査装置のハードウェア構成)
 基板検査装置1は、いわゆる位相シフト法によって電子回路基板の三次元形状の検査を行う外観検査装置であり、図3A及び図3Bは、基板検査装置1のハードウェア構成の概略を示している。図3A及び図3Bに示すように、基板検査装置1は主なハードウェア構成として、プロジェクタ11c、11d、11e、11fと、カメラ12、制御装置13、基板搬送手段14、基板保持機構15、治具Jを有している。
 プロジェクタ11c、11d、11e、11fは、基板Kの表面に対してパターンを投影する手段である。パターンは例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。本実施形態では、プロジェクタ11cから投影されるパターンをパターンc、プロジェクタ11dから投影されるパターンをパターンd、プロジェクタ11eから投影されるパターンをパターンe、プロジェクタ11fから投影されるパターンをパターンfとする。各プロジェクタはそれぞれ基板Kに対して一定の傾斜角を有するように配置される。
 カメラ12は、パターンが投影された状態の基板Kを撮影し、デジタル画像を出力する撮影手段である。カメラ12は例えば、光学系とイメージセンサを有して構成される。図3Aに示すように、カメラ12は基板Kの真上から基板Kを撮影するように配置される。なお、図3Bに示すように、各プロジェクタは、カメラ12を中心に円周方向に沿って90度ずつずれて等間隔に配置される。
 制御装置13は、各プロジェクタ、カメラ12及び基板搬送手段14の制御、カメラ12から取り込まれた画像に対する処理、三次元形状測定などの機能を有しており、本発明における測定手段に該当する。制御装置13は、CPU、RAM、不揮発性の記憶装置(例えば、ハードディスクドライブ、フラッシュメモリなど)、入力装置(例えば、キーボード、マウス、タッチパネルなど)、表示装置(例えば、液晶ディスプレイなど)を備えるコンピュータにより構成することができる。後述する制御装置13の各機能は、不揮発性の記憶装置に格納されたプログラムをRAMにロードし、CPUが当該プログラムを実行することにより実現することができる。ただし、制御装置13の機能の全部又は一部を、専用のハードウェアで代替しても構わない。また、分散コンピューティングやクラウドコンピューティングの技術を利用し、制御装置13の機能を複数のコンピュータの協働により実現しても構わない。
 基板搬送手段14は、例えば基板Kを載置及び移送可能なレールを含んで構成され、基板Kを検査位置まで搬送し、検査終了後の基板Kを検査位置から搬出する。基板保持機構15は、検査位置に搬送された基板Kを検査の間保持する機構であり、例えばエアチャック、把持爪などの手段で基板Kを保持する。治具Jは基板Kの配置状態の確認用に、基板保持機構15に、基板Kの基準面と同じ高さに表面が位置する様に配置されている。
 以上の構成を有する基板検査装置1において、基板Kの検査は次のようにして行われる。即ち、各プロジェクタから基板Kに投影するパターンの位相を変えながら、複数枚の画像をカメラ12によって撮影し、撮影された画像を制御装置13が、位相シフト法によって処理することで、基板Kの三次元形状を測定し、これが所定の検査基準を満たすか否かを判定する。
 なお、図4に検査対象である基板Kの外観を例示する。図中のFは、本実施形態における測定基準箇所としてのフィデューシャルマークである。
 (制御装置の機能)
 続いて、制御装置13の三次元形状測定に関わる機能を説明する。図5は、制御装置13の三次元形状測定に関わる機能を示す機能ブロック図である。制御装置13は、三次元形状測定に関わる機能として、画像取得部131、プロジェクタ光量判定部132、高さデータ算出部133、高さデータ異常判定部134、補正値算出部135、補正値登録部136、合成データ作成部137、三次元形状測定部138、合否判定部139を有している。
 上記機能のうち、画像取得部131、高さデータ算出部133、三次元形状測定部138、については、適用例において説明した機能と同様であるため、詳細な説明は省略する。なお、本実施形態では、パターンcを撮影した観測画像を観測画像c、パターンdを撮影した観測画像を観測画像d、パターンeを撮影した観測画像を観測画像e、パターンfを撮影した観測画像を観測画像fという。また、観測画像cから算出される高さデータを高さデータc、観測画像dから算出される高さデータを高さデータd、観測画像eから算出される高さデータを高さデータe、観測画像fから算出される高さデータを高さデータf、とする。
 プロジェクタ光量判定部132は、フィデューシャルマークFを撮影した観測画像を取得した際に、フィデューシャルマークFに照射されたパターンの光量の設定の適否を判定し、フィデューシャルマークFに適切な光量でパターンが照射されていないと判断した場合には、リトライ用の光量設定を適用して再度パターンを照射させる。
 高さデータ異常判定部134は、算出された高さデータの値が正常な範囲のものであるか否かを判定する。具体的には、観測画像のうち測定基準箇所(本実施形態ではフィデューシャルマークF)を構成する画素のヒストグラムが、最頻値を頂点とした一つの山を形成するような場合には、当該高さデータには異常が無いと判断する。一方、前記ヒストグラムに複数の山が存在するような場合には、高さデータ異常判定部134は何らかの異常があると判断する。具体的には撮影時に基板Kが振動している、測定基準箇所に何らかの理由で影になっている部分が存在する、などの異常があると考えられる。このように異常が有ると判断した場合には、後述する補正値の登録処理をキャンセルする。
 また、高さデータ異常判定部134は、測定基準箇所の高さの値が、所定の高さ想定値から大きく離れている場合にも、高さデータに異常が有ると判断する。例えば、所定の高さ想定値が3mmであるところ、算出された高さデータでは6mmである様なケースが考えられる。このような場合には、基板Kが正しく配置されていない、装置に不具合がある、などの問題が考えられるため、何らかの出力手段により、警告を発信するようにしてもよい。
 補正値算出部135は、高さデータc、高さデータd、高さデータe、高さデータfの測定基準箇所の高さの値と、所定の高さ想定値とを比較し、高さ想定値に最も近い値の高さデータを、基準高さデータとして選定する。そして、高さデータとして選択された高さデータとその他の高さデータとの差分を、補正値として算出する。補正値は、基準高さデータ以外の高さデータのそれぞれに対して算出される。例えば、高さデータcが基準高さデータとして選択された場合には、高さデータd、高さデータe、高さデータfに対して、それぞれ、補正値d、補正値e、補正値f、が算出される。以下、本実施形態では、高さデータcが基準高さデータとして選択されるものとして説明を行う。
 補正値登録部136は、補正値算出部135で算出された補正値d、補正値e、補正値fを、記憶手段に記憶させる。
 合成データ作成部137は、高さデータd、高さデータe、高さデータfのそれぞれに対応する補正値を記憶部から呼び出して、各高さデータから補正値分をオフセットする補正を行う。これにより、各高さデータに補正を行った、高さデータd2、同高さデータe2、同高さデータf2を求め、これらと高さデータcとを合成して、合成データを作成する。
 合否判定部139は、三次元形状測定部138が測定した基板Kの三次元形状が、所定の基準を満たすか否かを判定し、その結果を、いずれかの出力手段により出力する。
 (基板検査処理の流れ)
 次に、図6を参照して、本実施形態における基板検査の手順について説明する。まず、制御装置13は、基板Kについての測定基準箇所であるフィデューシャルマークFの高さ想定値を取得する(ステップS101)。例えば、ユーザーが入力手段を介して、基板Kの基準面の高さ設計値(例えば、3mm)を、高さ想定値として記憶手段に記憶してもよい。
 次に画像取得部131は、基板Kに対して各プロジェクタからパターンを投影し、これをカメラ12で撮影することでパターンc、パターンd、パターンe、パターンfそれぞれについての観測画像を取得する(ステップS102)。具体的な処理は適用例の場合と同様であるため、詳細な説明は省略する。
 次に、プロジェクタ光量判定部132は、観測画像c、観測画像d、観測画像e、観測画像fにおいて、フィデューシャルマークFに照射されたパターンの光量の設定が適切であるか否かを判定する処理を行う(ステップS103)。ここで、フィデューシャルマークFに適切な光量でパターンが照射されていない場合には、得られる高さデータの信頼性が低くなるため、不適切な光量である判断した場合には、リトライ用の光量設定を適用して再度パターンを照射させる。
 次に、高さデータ算出部133が、観測画像c、観測画像d、観測画像e、観測画像fから、それぞれ高さデータc、高さデータd、高さデータe、高さデータfを、算出する(ステップS104)。
 続けて、高さデータ異常判定部134が、算出された各高さデータの値が正常な範囲のものであるか、即ち異常があるか否かを判定する(ステップS105)。ここで、異常がない場合には、ステップS106に進み、基準高さデータの算出を行う。一方、異常ありと判定された場合には、ステップS106からS108の処理を飛ばして、ステップS109に進む。
 ステップS106においては、補正値算出部135が、各高さデータの測定基準箇所(フィデューシャルマークF)の高さの値と、ステップS101で取得された高さ想定値とを比較し、より高さ想定値に近い値を有する高さデータを基準高さデータとして選定する。本実施形態では基準高さデータとなるのは高さデータcである。補正値算出部135はさらに、基準高さデータである高さデータcと、その他の高さデータとの高さの値の差異を求め、補正値d、補正値e、補正値fを、算出する(ステップS107)。
 次に、補正値登録部136は、補正値算出部135で算出された補正値d、補正値e、補正値fを、登録する処理を行う(ステップS108)。具体的には、記憶手段に各補正値を記憶させる。
 次に、合成データ作成部137は、高さデータd、高さデータe、高さデータfのそれぞれに対応する補正値を記憶部から呼び出して、各高さデータから補正値分をオフセットする補正を行う(ステップS109)。そして、各高さデータの補正後のデータである、高さデータd2、同高さデータe2、同高さデータf2を求め、これらと高さデータcとを合成して、合成高さデータを作成する(ステップS110)。
 そして、三次元形状測定部138が、得られた合成高さデータに基づいて基板Kの三次元形状を測定して(ステップS111)、合否判定部139が、当該三次元形状に基づいて、基板Kが所定の基準を満たしているか否かを判定して結果を出力し(ステップS112)、一連のルーティンが終了する。
 本実施形態のような基板検査装置1の構成によると、プロジェクタ光量判定部132によりプロジェクタの光量が適切か否か自動で判定されるため、不適切な光量で取得した観測画像に基づいて測定処理を行うことを抑止でき、高い信頼度で三次元形状の測定を行うことができる。また、高さデータ異常判定部134により、算出された高さデータが適切か否か判定されるため、不適切なデータを用いて合成高さデータが作成されることを防止することができ、高い信頼度で三次元形状の測定を行うことができる。
 <変形例>
 なお、上記実施形態1では、測定基準箇所は検査対象である基板Kに設けられたフューディシャルマークであったが、測定基準箇所は必ずしもフューディシャルマークである必要は無い。例えば、基板Kの基板面の任意の位置を測定基準箇所としてもよい。
 また、測定基準箇所は必ずしも検査対象に設けられていなくてもよい。例えば、基板検査装置1に設けられた治具Jを測定基準箇所としてもよい。治具Jを測定基準箇所とすると、影になる領域が生じたり、搬送による震動の影響を受けたりすることがないため、高さデータを算出する際に異常な値が算出されることは略考えられない。このため、測定基準箇所を治具Jにすると、検査対象である基板Kに測定基準箇所を設けるよりも信頼度の高い高さデータを得る事ができる。また、これによって高さデータ異常判定部134による判定処理を省略することもできる。
 なお、本実施形態に係る基板検査装置1では、プロジェクタを4つ配置する構成であったが、プロジェクタの数は2以上であれば、いくつであってもよい。
 <その他>
 上記各実施形態は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明はその技術的思想の範囲内で種々の変形が可能である。例えば、上記各例においては、全てのプロジェクタについての観測画像を取得してから、高さデータを算出する処理を行っていたが、プロジェクタ毎に、パターン投影、観測画像取得、高さデータ算出の処理を行うようにしてもよい。
 本発明の一の態様は、測定対象に対してパターンを投影する複数の投影手段(11c,11d,11e,11f)と、前記複数の投影手段が投影するパターン毎に、前記パターンが投影された前記測定対象を含む像を撮影する撮影手段(12)と、前記撮影手段によって撮影された画像を処理することで、前記測定対象の三次元形状を測定する測定手段(13)と、を有しており、前記測定手段は、前記画像から、前記複数の投影手段が投影するパターン毎に、前記測定対象の高さデータを算出し、該算出されたそれぞれの高さデータのうち、前記測定対象に対して予め設定された測定基準箇所の高さの値が、予め設定された高さ想定値に最も近い高さデータを基準高さデータとして選択し、該基準高さデータとその他の全ての前記算出された高さデータとの高さの差異をそれぞれ求め、前記基準高さデータ以外の全ての前記高さデータのそれぞれに対して前記差違の分オフセットする補正を行ったうえで、前記算出された各高さデータを合成し、該合成された高さデータに基づいて前記測定対象の三次元形状を測定する、ことを特徴とする三次元形状測定装置である。
 また、本発明の他の一の態様は、測定対象の三次元形状を測定するための方法であって、前記測定対象の高さ測定の基準となる測定基準箇所の高さ想定値を設定する、想定値設定ステップ(S901)と、前記測定対象に第1の投影手段から映像パターンを投影する第1の投影ステップ(S902)と、前記第1の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第1の撮影ステップ(S903)と、測定対象に第2の投影手段から映像パターンを投影する第2の投影ステップ(S904)と、前記第2の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第2の撮影ステップ(S905)と、前記第1の撮影ステップ及び前記第2の撮影ステップで撮影された各画像から、当該画像毎に前記測定対象の高さデータを算出する、高さデータ算出ステップ(S906)と、前記高さデータ算出ステップで算出された複数の高さデータのうち、前記測定基準箇所の高さの値が前記高さ想定値に最も近い値である高さデータを基準高さデータとして選択する、基準選択ステップ(S907)と、前記基準高さデータと、その他の高さデータとの高さの値の差違を求める、差違分算出ステップ(S908)と、前記基準高さデータ以外の高さデータに対して、前記差違分算出ステップで求められた差違分をオフセットする補正を行う、高さデータ補正ステップ(S909)と、前記高さデータ補正ステップで補正された高さデータと、前記基準高さデータとを合成する、合成データ作成ステップ(S910)と、前記合成データ作成ステップで作成された合成データに基づいて、前記測定対象の三次元形状を測定する、三次元形状測定ステップ(S911)と、を有する三次元形状の測定方法である。
 1・・・基板検査装置
 9・・・三次元形状測定装置
 11、91・・・プロジェクタ
 12、92・・・カメラ
 13、93・・・制御装置
 14・・・基板搬送手段
 15・・・基板保持機構
 J・・・治具
 K・・・基板
 O・・・測定対象物

Claims (11)

  1.  測定対象に対してパターンを投影する複数の投影手段と、
     前記複数の投影手段が投影するパターン毎に、前記パターンが投影された前記測定対象を含む像を撮影する撮影手段と、
     前記撮影手段によって撮影された画像を処理することで、前記測定対象の三次元形状を測定する測定手段と、を有しており、
     前記測定手段は、
     前記画像から、前記複数の投影手段が投影するパターン毎に、前記測定対象の高さデータを算出し、該算出されたそれぞれの高さデータのうち、前記測定対象に対して予め設定された測定基準箇所の高さの値が、予め設定された高さ想定値に最も近い高さデータを基準高さデータとして選択し、該基準高さデータとその他の全ての前記算出された高さデータとの高さの差異をそれぞれ求め、前記基準高さデータ以外の全ての前記高さデータのそれぞれに対して前記差違の分オフセットする補正を行ったうえで、前記算出された各高さデータを合成し、該合成された高さデータに基づいて前記測定対象の三次元形状を測定する、
     ことを特徴とする三次元形状測定装置。
  2.  前記測定基準箇所は、前記複数の投影手段が投影するいずれのパターンを撮影した画像であっても、実際の高さとの誤差の少ない高さデータが算出できる領域である、ことを特徴とする、請求項1に記載の三次元形状測定装置。
  3.  前記測定対象は、電子回路基板又は該電子回路基板に配置された部品であって、
     前記測定基準箇所は、前記電子回路基板に設けられたフィデューシャルマーク、又は、前記電子回路基板の基板面である、
     ことを特徴とする請求項2に記載の三次元形状測定装置。
  4.  前記測定基準箇所は、前記三次元形状測定装置内に設置された治具であり、
     前記撮影手段は、前記測定対象と併せて前記冶具を撮影する、
     ことを特徴とする、請求項2に記載の三次元形状測定装置。
  5.  前記測定手段は、前記算出された各高さデータに異常があるか否かを判定する、
     ことを特徴とする請求項1から4のいずれか1項に記載の三次元形状測定装置。
  6.  測定対象の三次元形状を測定するための方法であって、
     前記測定対象の高さ測定の基準となる測定基準箇所の高さ想定値を設定する、想定値設定ステップと、
     前記測定対象に第1の投影手段から映像パターンを投影する第1の投影ステップと、
     前記第1の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第1の撮影ステップと、
     測定対象に第2の投影手段から映像パターンを投影する第2の投影ステップと、
     前記第2の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第2の撮影ステップと、
     前記第1の撮影ステップ及び前記第2の撮影ステップで撮影された各画像から、当該画像毎に前記測定対象の高さデータを算出する、高さデータ算出ステップと、
     前記高さデータ算出ステップで算出された複数の高さデータのうち、前記測定基準箇所の高さの値が前記高さ想定値に最も近い値である高さデータを基準高さデータとして選択する、基準選択ステップと、
     前記基準高さデータと、その他の高さデータとの高さの値の差違を求める、差違分算出ステップと、
     前記基準高さデータ以外の高さデータに対して、前記差違分算出ステップで求められた差違分をオフセットする補正を行う、高さデータ補正ステップと、
     前記高さデータ補正ステップで補正された高さデータと、前記基準高さデータとを合成する、合成データ作成ステップと、
     前記合成データ作成ステップで作成された合成データに基づいて、前記測定対象の三次元形状を測定する、三次元形状測定ステップと、を有する
     ことを特徴とする、三次元形状の測定方法。
  7.  前記測定対象は、電子回路基板又は該電子回路基板に配置された部品であって、
     前記測定基準箇所は、前記電子回路基板に設けられたフィデューシャルマーク、又は、前記電子回路基板の基板面である、
     ことを特徴とする請求項6に記載の三次元形状の測定方法。
  8.  前記測定基準箇所は前記測定対象が配置される装置内の治具であって、
     前記の各撮影ステップでは、前記測定対象と併せて、前記冶具が撮影される、
     ことを特徴とする請求項6に記載の三次元形状の測定方法。
  9.  前記高さデータ算出ステップで算出された各高さデータに異常があるか否かを判定する、高さデータ異常確認ステップをさらに有する、
     ことを特徴とする請求項6から8のいずれか1項に記載の三次元形状の測定方法。
  10.  前記差違分算出ステップで求められた差違の値を記憶装置に記憶させる、差違分登録ステップをさらに有しており、
     前記高さデータ補正ステップでは、前記差違分登録ステップで登録された差違の値を参照することによって、差違の値をオフセットする補正を行う、
     ことを特徴とする請求項6から9のいずれか1項に記載の三次元形状の測定方法。
  11.  請求項6から10のいずれか1項に記載の各ステップを有する処理を三次元形状測定装置に実行させるためのプログラム。
PCT/JP2019/051531 2019-01-08 2019-12-27 三次元形状測定装置、三次元形状測定方法及びプログラム WO2020145208A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112019006589.0T DE112019006589T5 (de) 2019-01-08 2019-12-27 Vorrichtung zur messung dreidimensionaler form, verfahren zur messung dreidimensionaler form und programm
CN201980087182.1A CN113227707B (zh) 2019-01-08 2019-12-27 三维形状测定装置、三维形状测定方法以及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-001261 2019-01-08
JP2019001261A JP7139953B2 (ja) 2019-01-08 2019-01-08 三次元形状測定装置、三次元形状測定方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020145208A1 true WO2020145208A1 (ja) 2020-07-16

Family

ID=71521624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051531 WO2020145208A1 (ja) 2019-01-08 2019-12-27 三次元形状測定装置、三次元形状測定方法及びプログラム

Country Status (4)

Country Link
JP (1) JP7139953B2 (ja)
CN (1) CN113227707B (ja)
DE (1) DE112019006589T5 (ja)
WO (1) WO2020145208A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989520A (ja) * 1995-07-18 1997-04-04 Nikon Corp パターン位置測定方法及び装置
JPH11295023A (ja) * 1998-04-08 1999-10-29 Honda Motor Co Ltd 車両用サブフレームの組立精度検査方法及びこの方法の実施に用いるダミーサスペンションアーム
JP2006041604A (ja) * 2004-07-22 2006-02-09 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2009038359A (ja) * 2007-07-06 2009-02-19 Canon Inc 露光装置およびデバイス製造方法
JP2009147228A (ja) * 2007-12-17 2009-07-02 Nikon Corp 露光装置、露光方法及びデバイス製造方法
JP2016045019A (ja) * 2014-08-20 2016-04-04 オムロン株式会社 基板検査装置のティーチング装置及びティーチング方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4359939B2 (ja) * 1997-05-22 2009-11-11 株式会社トプコン 画像測定装置
US6993179B1 (en) * 2000-08-07 2006-01-31 Koninklijke Philips Electronics N.V. Strapdown system for three-dimensional reconstruction
JP4254204B2 (ja) * 2001-12-19 2009-04-15 富士ゼロックス株式会社 画像照合装置、画像形成装置及び画像照合プログラム
CN101482398B (zh) * 2009-03-06 2011-03-30 北京大学 一种快速三维形貌测量的方法及装置
DE102010028894B4 (de) * 2009-05-13 2018-05-24 Koh Young Technology Inc. Verfahren zur Messung eines Messobjekts
KR101547218B1 (ko) 2010-11-19 2015-08-25 주식회사 고영테크놀러지 기판 검사방법
JP5988364B2 (ja) * 2012-08-06 2016-09-07 Kddi株式会社 画像処理装置及び方法
JP5780659B2 (ja) 2013-06-13 2015-09-16 ヤマハ発動機株式会社 3次元形状測定装置
JP2015099050A (ja) * 2013-11-18 2015-05-28 セイコーエプソン株式会社 キャリブレーション方法、及び形状測定装置
US20160245641A1 (en) * 2015-02-19 2016-08-25 Microsoft Technology Licensing, Llc Projection transformations for depth estimation
CN104729428B (zh) * 2015-02-27 2018-12-14 湖北文理学院 基于同轴结构光的镜面零件三维形貌测量***及测量方法
CN105551039B (zh) * 2015-12-14 2017-12-08 深圳先进技术研究院 结构光三维扫描***的标定方法及装置
CN106403845B (zh) * 2016-09-14 2017-10-03 杭州思看科技有限公司 三维传感器***及三维数据获取方法
CN106780386B (zh) * 2016-12-16 2019-11-26 武汉理工大学 一种三维激光扫描变形提取可靠性评价方法
CN108345463B (zh) * 2018-01-30 2021-06-25 深圳市易尚展示股份有限公司 基于机器人的三维测量方法、装置、机器人和存储介质
CN108629840A (zh) * 2018-05-10 2018-10-09 苏州大学 一种建立logo三维轮廓的方法、装置和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989520A (ja) * 1995-07-18 1997-04-04 Nikon Corp パターン位置測定方法及び装置
JPH11295023A (ja) * 1998-04-08 1999-10-29 Honda Motor Co Ltd 車両用サブフレームの組立精度検査方法及びこの方法の実施に用いるダミーサスペンションアーム
JP2006041604A (ja) * 2004-07-22 2006-02-09 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2009038359A (ja) * 2007-07-06 2009-02-19 Canon Inc 露光装置およびデバイス製造方法
JP2009147228A (ja) * 2007-12-17 2009-07-02 Nikon Corp 露光装置、露光方法及びデバイス製造方法
JP2016045019A (ja) * 2014-08-20 2016-04-04 オムロン株式会社 基板検査装置のティーチング装置及びティーチング方法

Also Published As

Publication number Publication date
DE112019006589T5 (de) 2021-12-16
JP2020112369A (ja) 2020-07-27
CN113227707A (zh) 2021-08-06
CN113227707B (zh) 2023-05-16
JP7139953B2 (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
JP6176114B2 (ja) 投影像自動補正システム、投影像自動補正方法およびプログラム
US9816287B2 (en) Updating calibration of a three-dimensional measurement system
JP6035279B2 (ja) 膜厚測定装置、膜厚測定方法、プログラム及びコンピュータ記憶媒体
US8437533B2 (en) Method of measuring a three-dimensional shape
JP2009031150A (ja) 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
TWI484283B (zh) 影像計算量測方法、影像計算量測裝置及影像檢查裝置
JP2009204343A (ja) 3次元形状計測方法および装置
JP2007322162A (ja) 3次元形状測定装置及び3次元形状測定方法
KR20120038072A (ko) 측정장치 및 이의 보정방법
JP2016045019A (ja) 基板検査装置のティーチング装置及びティーチング方法
JP2014035261A (ja) 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法
JP2003202214A (ja) 形状計測装置および形状計測方法
JP2006330771A (ja) 撮影画像における歪曲収差補正方法
CN109425327B (zh) 检查***和检查用图像的修正方法
JP2006258582A (ja) 画像入力装置および画像入力方法
JP4783650B2 (ja) Ptpシール検査装置
WO2020145208A1 (ja) 三次元形状測定装置、三次元形状測定方法及びプログラム
JP2006084286A (ja) 3次元計測方法とその計測装置
JP5446285B2 (ja) 画像処理装置及び画像処理方法
EP3070432B1 (en) Measurement apparatus
JP2008170282A (ja) 形状測定装置
WO2021053852A1 (ja) 外観検査装置、外観検査装置の較正方法及びプログラム
JP2010025803A (ja) 位置決め機能を有する検査装置、位置決め機能を有する検査装置用プログラム、位置決め機能を有する検査装置の検査方法
JP4565171B2 (ja) 距離測定装置及びその方法
JP2006330772A (ja) 撮影画像における歪曲収差補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908108

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19908108

Country of ref document: EP

Kind code of ref document: A1