WO2013061976A1 - 形状検査方法およびその装置 - Google Patents

形状検査方法およびその装置 Download PDF

Info

Publication number
WO2013061976A1
WO2013061976A1 PCT/JP2012/077386 JP2012077386W WO2013061976A1 WO 2013061976 A1 WO2013061976 A1 WO 2013061976A1 JP 2012077386 W JP2012077386 W JP 2012077386W WO 2013061976 A1 WO2013061976 A1 WO 2013061976A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
data
dimensional
dimensional shape
shape data
Prior art date
Application number
PCT/JP2012/077386
Other languages
English (en)
French (fr)
Inventor
敦史 谷口
薫 酒井
丸山　重信
前田　俊二
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011232468A external-priority patent/JP5913903B2/ja
Priority claimed from JP2012053956A external-priority patent/JP2013186100A/ja
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN201280052260.2A priority Critical patent/CN104024793B/zh
Publication of WO2013061976A1 publication Critical patent/WO2013061976A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to, for example, a shape inspection method and an inspection apparatus for a processed product and a processing tool.
  • Patent Document 1 in a three-dimensional shape measurement capable of performing a wide range of three-dimensional shape measurement by laser light scanning, the laser light amount is set so that the reflected light amount is constant even when a color or a shadow is added to the three-dimensional shape.
  • the measurement point data representing the shape of the measurement object measured by the optical cutting method and the reference point data are aligned based on sequential convergence processing, and the measured measurement point data and the reference are aligned.
  • An object shape evaluation apparatus that evaluates the shape of a measurement object based on point data is described.
  • the distance weight between adjacent points is determined based on the distance between adjacent points between adjacent measurement points or the distance between adjacent points between adjacent reference points. This is used when obtaining the sequential convergence evaluation value in the sequential convergence processing.
  • the present invention provides a three-dimensional shape inspection method that ensures high measurement accuracy regardless of the shape of the measurement target by combining a plurality of three-dimensional shape measurement methods and surface measurement methods in a complementary manner.
  • An object is to provide such a device.
  • the present invention provides a first three-dimensional shape sensor that acquires first shape data to be inspected, and second shape data that is different from the first shape data to be inspected.
  • a three-dimensional shape inspection apparatus comprising: a second three-dimensional shape sensor to be acquired; and a complementary integration unit that corrects and integrates the first shape data and the second shape data.
  • first shape data is acquired, second shape data different from the first shape data to be inspected is acquired, and the first shape data and the first shape data are acquired.
  • a three-dimensional shape inspection method characterized by integrating two shape data.
  • the present invention it is possible to provide a three-dimensional shape inspection method and apparatus that ensure high measurement accuracy regardless of the shape of a measurement object by complementarily combining a plurality of three-dimensional shape measurement methods and surface measurement methods. Can do.
  • 3D shape inspection requires measuring the 3D shape, comparing it with a reference model, quantifying the shape defect, and estimating its influence from the defect quantitative value.
  • the influence degree is obtained by quantifying the influence given to the index representing the performance of the product in the case of a product, or to the index representing the machining performance in the case of a machining tool.
  • Patent Documents 1 and 2 have problems with respect to the above technologies. There is a tendency for the accuracy of edges and sharp corners to be insufficient at the time of measurement, CAD data is often required when comparing measured data, inspection is not possible when CAD data is not at hand, and shape defect values Therefore, it may not have the function of estimating the degree of influence.
  • Fig. 1 shows the configuration of the 3D measurement device.
  • Sample 1 is held by holding mechanisms 101 and 102.
  • the entire sample 1 and the holding mechanisms 101 and 102 are connected to the servo motor 103 and have a rotation mechanism centered on the y-axis on the xz plane.
  • the holding mechanisms 101 and 102 have an appropriate holding force that does not cause a deviation between the rotation amount of the servo motor 103 and the rotation amount of the sample 1.
  • the relative position between the sample 1 and the image capturing unit 120 and the point group measuring unit 130 is set by the rotation of the servo motor 103.
  • Sample 1 is a processed product that requires quality assurance by three-dimensional shape measurement or a processing tool that requires shape measurement for processing accuracy management.
  • the sample 1, the holding mechanisms 101 and 102, and the servo motor 103 are all held by a base 105, and the base 105 is mounted on an x stage 106, a y stage 107, and a ⁇ stage 108.
  • the rotation direction of the ⁇ stage 108 is in the xy plane, and the ⁇ axis is orthogonal to the xy plane.
  • the x stage 106, the y stage 107, the ⁇ stage 108, and the base 105 are mounted on an anti-vibration surface plate 110.
  • the servo motor 103 is controlled by a control PC 140 through a motor controller 104, and the x stage 106, y stage 107, and ⁇ stage 108 through a three-axis stage controller 109.
  • the surface state and shape of the sample 1 are measured by the image capturing unit 120 and the point group measuring unit 130.
  • the illumination unit 121 illuminates the sample 1 from an arbitrary direction, and the reflected light, scattered light, diffracted light, and diffused light are captured by the two-dimensional camera 123 using the lens 122, and the three-dimensional shape is captured.
  • the illumination unit 121 a lamp, LED (Light Emitting Diode), or the like can be used, and FIG. 1 shows illumination from a single direction, but the illumination direction may be a plurality of directions, or ring illumination may be used. .
  • the two-dimensional camera 123 a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like can be used.
  • the pixel pitch of the two-dimensional camera 123 is set to be finer than the resolution determined from the magnification and aperture ratio of the lens 122.
  • the two-dimensional camera 123 is controlled by the control PC 140 via the camera controller 124, and the measurement result is output to the monitor 141.
  • the stereo method based on triangulation, the lens focus method that measures the distance by moving the focus of the lens, and the method of obtaining the shape from the image captured by the two-dimensional camera 123, and the projection of the lattice pattern on the object There is a moire method for measuring the shape from a pattern pattern deformed according to the shape of the object surface. Further, as a method for detecting surface unevenness, there is an illuminance difference stereo or the like that uses a difference in shading depending on an illumination direction to estimate a normal vector direction of a surface of a target object.
  • the point cloud measurement unit 130 includes a point cloud measurement sensor 131 and a sensor controller 132, is controlled by the control PC 140, and the measurement result is output to the monitor 141.
  • the point group measurement sensor 130 includes a non-contact optical type, a contact type probe type, and the like, and is a device that measures the shape of the object surface and outputs three-dimensional coordinates of a large number of points as a point group. Many methods have been proposed for the optical point group measurement sensor, and any method can be applied to the present invention.
  • a light cutting method based on triangulation As a method that can be used in the present invention, a light cutting method based on triangulation, a TOF (Time Of Flight) method in which light is applied to an object, and a distance is measured according to the time when the light returns, the focus of the lens is moved.
  • a lens focus method for measuring a distance by focusing There are a moire method for projecting a lattice pattern onto an object and measuring the shape from a pattern pattern deformed according to the shape of the object surface, and an interference method using white interference.
  • a point cloud measurement method using an optical frequency comb having a large number of optical frequency modes arranged at equal intervals in a frequency space and a point cloud measurement method using a frequency feedback laser have been proposed.
  • the apparatus of FIG. 1 performs complementary measurement of the surface state and shape of the sample 1, and the complementary integration unit 1401 that integrates the image of the two-dimensional camera 123 and the data of the point cloud measurement sensor 130.
  • a storage unit storing CAD (Computer Aided Design) data 142 representing a 3D shape connected to the control PC 140, a region specifying unit for specifying a region for acquiring shape data from the CAD data 142 by the point cloud measurement sensor 131, A defect quantification unit 1402 and a defect quantification unit 1402 for quantifying the shape defect value by comparing the CAD data 142 or the self-reference shape data derived from the similarity of the sample 1 with the data integrated by the complementary integration unit 1401 Based on the degree of failure quantified by the A determination unit that refers to the database (DB) 143 and performs OK, NG determination, or determination of the degree of the product.
  • DB database
  • an area specifying unit that determines the weakness of each method based on the CAD data 142 and specifies the area from which the shape data is acquired by the distance measurement sensor 131 and the two-dimensional camera 123 is provided. You may have it.
  • the point cloud measurement method is suitable for grasping the global shape, but the measurement accuracy is reduced for local changes and minute irregularities.
  • the shape measurement accuracy tends to be lowered at an edge or an acute angle portion where it is difficult to scan the probe.
  • a shape having an edge, an acute angle portion, and a steep inclination is greatly different from a shape having a flat light reflection angle, and the measurement accuracy tends to be lowered.
  • the point cloud measurement method is not good at measuring minute irregularities such as the surface roughness of the sample.
  • the brightness difference from the surroundings in the acquired image increases or the brightness change increases. have. Therefore, it is possible to restore from the image information on the edge portion, the acute angle portion, and the shape having a steep inclination that the point cloud measurement method is not good at. Further, the shape of the surface state and minute unevenness can be derived from the shadow in the image.
  • the global shape that the point cloud measurement method is good at is an image with a flat intensity distribution, and there are few characteristic parts, so that it may be difficult to restore the shape.
  • Figure 2 shows the complementary integration procedure in shape measurement.
  • the CAD data representing the three-dimensional shape of the sample includes information representing the direction of the surface constituting the shape.
  • the point cloud measurement method has a direction and an inclination of a surface whose measurement accuracy is guaranteed by the method.
  • An area in which the measurement accuracy is guaranteed is an area that can be measured by the point cloud measurement sensor.
  • the CAD data is read (S100), the measurement area of the sample 1 is set (S101), the arrangement when holding the sample 1 shown in FIG. 1 and the relative position of the rotation axis and the point cloud measurement sensor are calculated (S102).
  • a threshold value determined by the characteristics of the point group measurement sensor (S103), and the region of the surface where the point group measurement is possible is specified. Specify by part. For the area below the threshold value, a point cloud representing the shape is measured by the point cloud measurement sensor (S104). Since the accuracy of the point cloud measurement sensor is not guaranteed for the area above the threshold value, it is imaged with a two-dimensional camera (S105), and shape data is estimated from the captured image (S106). The point cloud of the point cloud measurement sensor and the position information of the shape data estimated from the image are collated (S107), and desired shape data is acquired (S108).
  • the sample 1 can be imaged by the two-dimensional camera 123 from many viewpoints by controlling the rotation amount of the servo motor 103. Using these images from a plurality of viewpoints, shape data such as an edge and an acute angle portion that the point cloud measurement sensor is not good at is estimated.
  • the stereo method which is a depth measurement method based on triangulation, the inverse rendering method that estimates the tilt of the measurement surface from the shadow of the image, and the view volume intersection that estimates the contour of the sample from the silhouette of multiple images Use the law.
  • the stereo method uses two images obtained by capturing the same visual field from different directions.
  • Images from different directions are acquired by rotating the servo motor 103 of FIG. 1 by a certain amount and controlling the relative position with the two-dimensional camera 123.
  • the sample 1 is rotated 5 degrees by the servo motor 103 to acquire the second image.
  • the depth is calculated from these two images using the principle of triangulation.
  • the shape data of the surface parallel to the rotation axis of the sample 1 can be acquired.
  • the illumination state and the object reflectance are known, and a geometric shape is estimated from an image obtained by a two-dimensional camera using a rendering equation. It is possible to acquire object shape data from a single image.
  • the view volume intersection method is a technique for deriving the shape of the target object by deriving a view volume that is a cone having a viewpoint as a vertex and a silhouette as a cross section, and obtaining a common part of the view volumes at all viewpoints.
  • the servo motor 103 is rotated to acquire an image of a plane parallel to the rotation axis of the sample 1 by 360 degrees with the two-dimensional camera 123, and the viewing volume is derived from the silhouette of each image. Get shape data from the part.
  • FIG. 4 shows an example of position verification (S107).
  • the acquired point cloud data (S200) and image data (S202) have different spatial resolutions determined at the time of designing the point cloud measurement unit and the image capturing unit. Therefore, as shown in FIG. 5, the spatial resolution of the point cloud data is adjusted to be the same scale as the image data acquired by the image capturing unit (S201).
  • the adjustment of the scale may be performed on the image processing unit as long as the point cloud data and the image data have the same spatial resolution, or may be applied to both the point cloud data and the image data. If the point cloud data and the image data are designed to have the same spatial resolution, this scale adjustment (S201) is not necessary.
  • the point cloud data and the image data are roughly adjusted based on the difference in the geometric arrangement between the point cloud measurement unit and the image capturing unit (S203).
  • the coarse adjustment (S203) detailed position matching is performed at the common feature points in both the data 161 of the point 161 where the displacement changes sharply in the point cloud data of FIG. 5 and the location 162 where the intensity change is large in the image. (S204).
  • position matching is performed so that the sum of the distances between the feature points is minimized.
  • the position matching may be performed so that the distance between the feature points is statistically an intermediate value.
  • FIG. 2 shows a complementary integration flow when acquiring shape data.
  • the resolution determined by the pixel size of the lens 122 and the two-dimensional camera 123 is set to a height that can sufficiently capture the minute unevenness to which attention is focused, and an image is acquired.
  • FIG. 2 shows a method for calculating a region for point cloud measurement using CAD data, but the region for using a two-dimensional image is determined using the comparison result between the acquired point cloud data and CAD data shown in FIG. In this way, complementary integration with a two-dimensional image is possible.
  • An area for measuring the shape of the sample is set (S300), and point cloud measurement is performed (S301).
  • the CAD data (S302) of the sample is input, and the distance between corresponding points is calculated by aligning with the point group measured in (S301) (S303).
  • an ICP (Iterative Closest Point) method or the like widely used for collation of point clouds is used.
  • the distance between the measured point group and each corresponding point in the CAD data is averaged, and the average value is compared with a certain threshold value (S304). Since the accuracy of the point cloud measurement sensor is not guaranteed for the area above the threshold value, it is imaged with a two-dimensional camera (S305), and shape data is estimated from the captured image (S306).
  • the point cloud of the point cloud measurement sensor and the position information of the shape data estimated from the image are collated (S307), and the desired shape data is acquired (S308). Compare actual measurement results with CAD to determine whether or not to use point cloud measurement results, so outliers in point cloud measurement that are not possible with the flow shown in FIG. 2 can be removed, improving measurement accuracy To do.
  • the threshold value to be compared with the average of the distances between corresponding points is set to a value larger than the shape defect or surface unevenness to be inspected.
  • FIG. 7 shows a measurement flow in which both point cloud data and image data are acquired before CAD data comparison.
  • An area for measuring the shape of the sample is set (S400), point cloud measurement is performed on the set area (S401), and an image is also taken (S402).
  • the CAD data is read (S403), and it is determined whether the inclination ⁇ between the sample surface and the point group measurement sensor is equal to or less than the threshold value determined by the characteristics of the point group measurement sensor (S404). Clarify the surface area.
  • the shape data measured by the point cloud measurement sensor is adopted for the area below the threshold (S406), and the shape data is calculated from the shadow of the image in the area above the threshold (S405).
  • the point cloud measurement data and the shape data calculated from the image are aligned (S407), and the shape data is output (S408).
  • an overlapping portion is required when aligning the point cloud data and image data, and both data are acquired over the entire area. Will increase, but there will be no shortage of overlap. Therefore, by acquiring both the point cloud data and the image data before the CAD data comparison, it is possible to use highly accurate data out of the point cloud data and the image data, and further improve the measurement accuracy. it can.
  • the measured shape is quantitatively compared with the reference shape.
  • CAD data that is an ideal shape
  • average self-reference shape data calculated using the similarity of the sample itself, average shape data of a plurality of samples of the same shape, or a plurality of types Is used.
  • the method for deriving each shape data, the method for quantifying the defect, and the combination are described below.
  • the difference between the measured shape data and CAD data is taken and the difference value is output as a shape defect value.
  • FIG. 8 shows a six-blade impeller 170 as an example of a sample to be measured.
  • the six wings 170a to 170f have the same shape. 1 is mounted so that the impeller central axis 1701 and the y axis coincide with each other, and the point cloud measuring sensor 131 and the two-dimensional camera 123 are rotated by the servo motor 103 about the y axis by the method described above.
  • FIG. 9 shows a flow for deriving self-reference shape data.
  • the shape / surface data is acquired by the inspection apparatus of FIG.
  • FIG. 10A A waveform representing the shape of the impeller 170 is shown in FIG. In FIG. 10A, the waveform profiles 171a to 171f of the wings 170a to 170f are identical in design. Recognition of the similarity between the profiles 171a to 171f may be performed manually by the operator of the apparatus, or may be automatically recognized based on a pattern recognition technique. If there are three or more parts having the same shape, the self-reference shape data 171 is calculated from their statistical average value (S503).
  • the statistical average value is calculated by the median or the average value is calculated by omitting the maximum value and the minimum value in order to remove the influence of the shape defect and the surface irregularity defect from the self-reference shape data.
  • the self-reference shape data 171 and the profiles 171a to 171f are aligned (S504), the difference between them is calculated as shown in FIG. 10B (S505), and the difference value is output as a shape defect value. (S506). Since the similarity of the sample itself is used, shape defects can be quantified without CAD data.
  • the derivation flow of average shape data is shown in FIG.
  • the shape / surface data is acquired by the inspection apparatus of FIG. 1 (S601).
  • a waveform representing the shape of the impeller 170 is shown in FIG. FIG. 12A shows the entire profiles 172a to 170n when the impeller is measured n times.
  • the average shape data 172 is calculated from the statistical average value of these profiles (S602).
  • the statistical average value is calculated by the median or the average value is calculated by omitting the maximum value and the minimum value in order to remove the influence of the shape defect and the surface irregularity defect from the average shape data.
  • the average shape data 172 and the profiles 172a to 171n are aligned (S603), a difference between them is calculated as shown in FIG. 12B (S604), and the difference value is output as a defective shape value (S604). S605). Self-referenced shape data cannot be used unless the sample itself is similar. On the other hand, since the average shape data is derived from a plurality of samples, comparative inspection is possible even for samples having no CAD data and no similarity.
  • shape defect quantification combining the three standard shape data of CAD data, self-reference shape data, and average shape data will be described.
  • the shape defect is quantified using self-reference shape data and CAD data, as shown in FIG.
  • the shape / surface unevenness data is measured by the apparatus of FIG. 1 (S701), and the presence or absence of similarity is determined (S702).
  • similarity recognition may be performed manually by the apparatus operator, or may be automatically recognized based on a pattern recognition technique. If there is no similarity, the difference between the measured shape data and CAD data is taken and the difference value is output as a shape defect value (S703).
  • the similar part calculates a difference value from the self-reference shape data according to the flow shown in FIG. 9 (S704), and the dissimilar part calculates a difference from the CAD data (S705). A defective value is output (S706).
  • the shape defect is quantified using the self-reference shape data and the average shape data.
  • the shape / surface unevenness data is measured by the apparatus of FIG. 1 (S801), and the presence or absence of similarity is determined (S802).
  • similarity recognition may be performed manually by the apparatus operator, or may be automatically recognized based on a pattern recognition technique. If there is no similarity, the difference between the measured shape data and the average shape data is taken according to the flow shown in FIG. 11, and the difference value is output as a shape defect value (S803). If there is similarity, the similar part calculates a difference value from the self-reference shape data according to the flow shown in FIG. 9 (S804), and the dissimilar part calculates a difference from the average shape data (S805) A defective value is output (S806).
  • the defect When detecting defects such as irregularities on the sample surface, the defect may be detected from the difference in the feature quantity between the normal part and the defective part of the sample surface imaged by the two-dimensional camera image.
  • the feature amount represents the feature of the image, and includes a high-order local autocorrelation (HLAC) feature amount and the like.
  • HLAC local autocorrelation
  • the position of the two-dimensional camera, the position of illumination, and the tilt of the sample are also used as the feature amount.
  • the position of the two-dimensional camera 123 shown in FIG. 15 is the unit vector I301
  • the position of the illumination 121 is the unit vector S302
  • the tilt of the sample in the Cartesian coordinate system is measured using a point cloud measurement sensor.
  • the normal vector 304 of the triangular patch 303 formed by three adjacent points is used as a feature amount representing the inclination of the sample.
  • CAD data may be used to derive the normal vector 304.
  • the image obtained by the two-dimensional camera 123 depends on the position of the illumination 121, the position of the two-dimensional camera 123, and the tilt of the sample. The part can be determined more accurately. Further, the shielding portion 306 caused by the shape of the sample can be calculated, and the defect portion 305 and the normal portion can be more accurately discriminated in consideration of a change in image characteristics due to a decrease in luminance due to a shadow.
  • Fig. 16 shows the flowchart.
  • An image of the sample is measured with a two-dimensional camera (S1001).
  • 25-dimensional HLAC features, illumination positions, 2-dimensional camera positions, and sample normal vector values for each pixel (or a value obtained by performing smoothing processing or the like from a plurality of peripheral pixels) acquired with a 2-dimensional camera Is calculated as a feature amount (S1002).
  • S1003 the boundary for discriminating between the normal part and the defective part in the feature amount space is determined
  • SVM Support Vector Machine
  • a defective part is extracted using the boundary calculated in (S1003) (S1004). Note that the boundary determined in (S1002) may be determined using a sample before inspection.
  • a parameter representing the shape of the tool is designated (S901).
  • the wear area 180 at the tip of the drilling tool in FIG. 18 and the angle 181 of the tip of the tip are used as evaluation parameters.
  • the shape of the drilling tool as a sample is measured by the above-described method, and compared with any of CAD data, self-reference shape data, or average shape data, and the shape defect value is quantified (S902).
  • the wear area and the angle of the blade edge are calculated from the shape defect value indicating the difference in shape by distance (S903).
  • the influence of the wear area and the blade edge angle on the machining result is estimated from past experimental results and machining simulation results.
  • FIG. 19 shows a GUI for inputting inspection conditions and outputting results.
  • the GUI is displayed on a monitor 141 mounted on the inspection apparatus.
  • the allowable values of the depth and roundness are input as the inspection area and the degree of influence on the machining, and the estimated values of the cutting edge inclination, the wear area, and the degree of influence on the machining derived from the measurement results are output. Further, the final determination value is output as the inspection result 191.
  • the point cloud measurement data and the two-dimensional camera image are used in a complementary manner, thereby realizing three-dimensional shape measurement with higher accuracy than when only the point cloud measurement data and the two-dimensional camera image are used. can do.
  • product quality / yield prediction is performed by determining whether the product has a shape defect based on the performance when the processed product or tool is used, and determining the degree of quality. It is possible to manage the life prediction and the like considering the deterioration / wearing state of the machining tool and the reduction of machining accuracy.
  • FIG. 1 A second embodiment of the present invention will be described with reference to FIG.
  • the apparatus configuration is shown in FIG.
  • the basic configuration is the same as that of the first embodiment.
  • the polarization camera 200 that can analyze the polarization state of the reflected light is used instead of the two-dimensional camera 123 of FIG. 1, and the ring illumination system 201 is used instead of the illumination unit 121. ing.
  • a minute polarizer is attached in front of each pixel, and four pixels form one group, and the four pixels in the group have different polarizer orientations. It is known that the polarization state of the light reflected from the sample 1 varies depending on the direction of the surface, and the direction of the surface can be detected by integrating different polarization information obtained by the four pixels.
  • the direction of the surface can be determined with high accuracy even if there is a color change such as a spot that is difficult to identify in a normal image.
  • the polarization information is highly responsive to minute irregularities such as scratches, and surface irregularities can be effectively revealed.
  • a third embodiment of the present invention will be described with reference to FIGS.
  • the combination of the distance measurement method and the advantage of the image is used to more accurately measure the three-dimensional shape and surface unevenness, and the shape defect of the three-dimensional information of the target point of the sample restored by the complementary integration is obtained.
  • the defect quantification method for quantification will be described in detail below.
  • measurement data obtained by a plurality of measurement methods are complementarily integrated to improve the stability and accuracy of the measurement method.
  • the distance measurement method is suitable for grasping the global shape, but the measurement accuracy is often insufficient for local changes and minute irregularities.
  • a non-contact type that applies optics such as laser
  • the shape having an edge, an acute angle portion, and a steep inclination is greatly different from a shape having a flat light reflection angle, and the measurement accuracy tends to be lowered.
  • the distance measurement method using these lasers irradiates a target with a beam shaped into a point or a line, and measures the distance from the position of the reflected light. Therefore, to measure the 3D shape, it is necessary to scan the sample or laser.
  • the scanning interval becomes the measurement spatial resolution as it is.
  • the spatial resolution of the shape measurement method using an image depends on the pixel size of the two-dimensional camera 123 and the magnification of the lens 122, and is generally finer than the scanning interval, but changes gradually and is difficult to show characteristics in the image. We are not good at measuring the shape part. Therefore, the distance measurement method is good at grasping the global shape compared to the method using the image, but is not suitable for the measurement of local minute surface irregularities.
  • Fig. 21 shows the flow of shape inspection using the distance measurement method.
  • a measurement region is determined according to the performance of the distance measurement unit 130 to be used (S1100), and a point group representing coordinates in 3D space by the distance measurement unit 130 while performing stage control of the sample 1 with respect to the measurement region determined in S1100.
  • S1101 the exceptional value caused by the measurement error of the distance measuring unit 130 included in the measured point cloud is removed (S1102), and a mesh is stretched over the point cloud to obtain measured shape data (S1103).
  • Measured shape data (S1103) is compared with CAD data or non-defective product shape data measured in the same process as S1100 to S1103, and the shape defect of the measured shape data is quantified (S1104), and a threshold is set. OK / NG determination is performed (S1105).
  • the distance measurement unit 130 is limited in measurement accuracy by the inclination of the surface of the sample 1.
  • the measurement area in which the measurement accuracy is guaranteed can be determined from the positional relationship between the distance measurement unit 130 and the measurement target.
  • the accuracy of the distance information measured by the distance measuring unit 130 depends on the distance between the distance measuring unit 130 and the sample 1, the inclination of the sample 1 with respect to the distance measuring unit, and the material of the sample 1. An area where necessary accuracy is ensured is set as an inspection area.
  • the shape of the sample 1 may be visually observed to determine a measurement region where measurement accuracy is expected to be guaranteed.
  • the relative positions of the distance measuring unit 130 and the sample 1 are controlled by the x stage 106, the y stage 107, and the ⁇ stage 108. Each stage is controlled so as to cover the measurement region of the sample 1, and a point group representing coordinates in the 3D space is acquired. Since the distance measurement unit 130 measures the distance from the surface of the sample 1, it is converted into 3D space coordinates using the position information of each stage. (S1102) An exceptional value is generated in the point group measured by the distance measuring unit 130 due to a measurement error of the distance measuring unit 130. This exceptional value is generally removed from the statistical properties of the measurement point cloud.
  • a process of expressing the difference in the position of point groups that are dense within a certain range of interest in terms of standard deviation, and making points that are N distances away from the standard deviation as exceptional values can be considered.
  • the point cloud is converted into a mesh format suitable for CAD comparison. As a conversion method, methods such as Ball-Pivoting and Power Crush have been proposed.
  • S1104 The measurement data meshed in S1103 is compared with CAD data to quantify the shape defect.
  • a non-defective product can be compared with non-defective product shape data digitized by the procedures of S1100 to S1103 to quantify the shape defect.
  • a threshold value is set in advance for the shape defect value quantified in S1104, and OK / NG determination is automatically performed.
  • FIG. 22 shows a shape inspection flow using the stereo method.
  • a measurement region for measuring the shape by stereo measurement is determined (S1200), and images of different viewpoints are acquired by the two-dimensional camera 123 while rotating the sample 1 on the ⁇ stage 108 with respect to the measurement region determined in S1200. (S1201), an edge is extracted from the acquired image (S1202).
  • Edges are extracted from images at different viewpoints from S1202, corresponding points indicating the same location between the images are searched (S1203), depth information is calculated from the viewpoint deviation and the positional deviation amount of the corresponding points, and the 3D space.
  • a point group indicating the coordinates inside is derived (S1204).
  • a mesh is stretched over the calculated point group to obtain measurement shape data (S1205).
  • Measured shape data and CAD data or non-defective product shape data measured in the same process as S1200 to S1205 are compared, the shape defect of the measured shape data is quantified (S1206), a threshold value is provided, and OK / NG A determination is made (S1207).
  • (S1200) A region for shape measurement is determined by stereo measurement, and a location for acquiring an image is determined.
  • S1201 A rotation angle of the ⁇ stage 108 is set for the measurement region determined in S200, and a plurality of images are acquired from different viewpoints while rotating. Although the rotation angle depends on the size of the object, the rotation angle is set sufficiently finely so that the correspondence between the images can be the same location.
  • S1202 Edges are extracted from the image acquired in step S1201. For the edge extraction, a Canny edge extraction method, a method using a Sobel filter, or the like can be used.
  • S1203 In step S1202, the edge part correspondence between a plurality of images with different viewpoints extracted in edge is calculated.
  • a normalized correlation method or the like can be used.
  • S1204 Depth information is calculated based on the principle of triangulation from the viewpoint shift that can be calculated from the stage movement amount and the position shift amount of the corresponding point calculated in S1203, and a point group indicating coordinates in the 3D space is derived.
  • S1205 The point cloud calculated in S1204 is converted into a mesh format suitable for CAD comparison. As a conversion method, methods such as Ball-Pivoting and Power Crush have been proposed.
  • S1206 The measurement data meshed in S1205 is compared with CAD data to quantify the shape defect.
  • a non-defective product can be compared with non-defective product shape data digitized by the procedure of S1200 to S1205, and the shape defect can be quantified.
  • S1207 A threshold value is set in advance for the shape defect value quantified in S1206, and OK / NG determination is automatically performed.
  • FIG. 23 shows a surface irregularity inspection flow using the illuminance difference stereo method.
  • a measurement region for measuring the shape by illuminance difference stereo measurement is determined (S1300), and the sample 1 is irradiated with illumination from at least three different directions to the measurement region determined in S1300, and an image is obtained under each illumination. get.
  • the ⁇ stage 108 is rotated, and an image is acquired under each illumination for the entire measurement region (S1301).
  • the reflectance of the sample 1 is assumed to be a Lambertian surface, a normal vector of the surface of the sample 1 is derived (S1302), and the reflectance and the illumination direction are calibrated using a reference sample or the like. (S1303).
  • the normal vector that has been calibrated is subjected to integration processing to calculate shape data (S1304).
  • a mesh is stretched over the calculated point group to obtain measured shape data (S1305).
  • Measured shape data and CAD data, or non-defective product shape data measured in the same process as S1200 to S1205 are compared, the shape defect of the measured shape data is quantified (S1306), a threshold value is provided, and OK / NG A determination is made (S1307).
  • S1300 A region for shape measurement is determined by illuminance difference stereo measurement, and a location for acquiring an image is determined.
  • S1311 The measurement area determined in S1300 is irradiated with illumination from at least three different directions, and at least three images are acquired.
  • the rotation angle of the ⁇ stage 108 is set, and images are acquired from different viewpoints while rotating. Although the rotation angle depends on the size of the object, the rotation angle is set sufficiently finely so that the correspondence between the images can be the same location.
  • S1302 A matrix calculation is performed on the image acquired in S1301 to calculate a normal vector.
  • the surface method can be obtained from an intensity vector composed of the intensities of images with different illumination directions acquired by the two-dimensional camera 123 and an illumination direction matrix composed of unit vectors representing the illumination directions.
  • a line vector is calculated.
  • the calculated normal vector includes a systematic error.
  • the systematic error included in the normal vector derived in S1302 is made of the same material as that of the sample 1, and can be calibrated by using a known shape sample including three or more different surface inclinations.
  • the illuminance difference stereo method is rarely used for absolute shape measurement.
  • S1304 By integrating the normal vectors derived in S1302 and 1303, a point group representing shape information can be calculated. However, if the normal vector error is not partitioned in S303, the point cloud also includes an error.
  • S1305) The point cloud calculated in S1304 is converted into a mesh format suitable for CAD comparison. As a conversion method, a method such as Ball-Pivoting or Power Crush is used.
  • the measurement data meshed in S1305 is compared with CAD data to quantify the shape defect.
  • a shape inspection method that complementarily integrates a plurality of shape measurement methods, which is a feature of this embodiment, will be described.
  • the two-dimensional camera 123 acquires a shape having an edge portion, an acute angle portion, and a steep inclination under a certain illumination, a difference in brightness from the surroundings or a change in brightness increases in the acquired image. Have. Therefore, it is possible to restore from the image information on the edge portion and the acute angle portion that are not good at the distance measurement method and the shape having a steep inclination (stereo method). Also, the shape of the surface state and minute irregularities can be derived from the shadow in the image (illuminance difference stereo method).
  • the global shape that the distance measuring unit 130 is good at is an image with a flat intensity distribution, and there are few characteristic parts, so that it may be difficult to restore the shape.
  • a method for measuring the entire complex shape with high accuracy by exchanging information obtained by each of these methods in a complementary manner, and calibrating and integrating the information will be described.
  • measurement may be possible with only one method. In that case, since complementary integration cannot be performed, the measurement results are directly adopted and integrated.
  • Fig. 24 shows the flow. The flow in FIG. 21-23 is integrated, and only the integrated part of the method will be described.
  • a method of removing these by comparison with each other will be described. Details are shown in FIG.
  • the result measured with respect to the surface 200 of the sample 1 by the distance measurement unit 130 and the illuminance difference stereo method is shown.
  • Surface 2000 includes a shape defect 2001.
  • the resolution of the measurement point 2002 of the distance measurement unit depends on the scanning resolution of the stage, and the resolution of the measurement point 2007 obtained by integrating the normal vector 2006 derived by the illuminance difference stereo method is determined by the lens magnification and the camera pixel size. . In this embodiment, it is assumed that the resolution of stage scanning is about 100 ⁇ m and the pixel size / lens magnification is about 10 ⁇ m.
  • the experimental results include random exception values 2003 and 2008 depending on the stability of the distance measurement sensor and the camera.
  • Exceptional value determination is generally performed by calculating an outlier value by comparison with the surrounding area. For example, a surface is stretched from adjacent measurement points, the inclination 2004 is derived, and an exceptional value is calculated based on the angle change amount of the inclination. An example is shown in FIG. A dotted line indicates the result of the distance measuring unit 130, and a solid line indicates the result of the illuminance difference stereo method. In the result of the illuminance difference stereo, the exceptional value 2011 can be determined as an exceptional value because only one point has a large angle change amount locally. On the other hand, according to the result of the distance measurement unit, the defect 2009 and the exceptional value 2010 cannot be distinguished only by the angle change amount because the resolution is low.
  • the difference between the angle change amounts of the distance measurement unit and the illuminance difference stereo is used as an index, and a point having a difference equal to or greater than the threshold value ⁇ A (2014) is determined as an exceptional value.
  • a point having a difference equal to or greater than the threshold value ⁇ A (2014) is determined as an exceptional value.
  • an exceptional value is randomly generated at the time of measurement, and the exceptional value can be easily removed by comparing between a plurality of methods.
  • a sampling interval having a larger resolution is complemented.
  • the threshold value ⁇ A (2014) that determines the degree of exception value removal is a parameter that determines the accuracy of the point cloud data, and the user can arbitrarily set a value that exceeds the measurement accuracy of each measurement method. Set.
  • edge extraction in an image calculates an intensity change between pixels, and recognizes a portion having a large intensity change as an edge.
  • these methods determine the edge only from the intensity information in one image, when the edge portion does not appear as an intensity change depending on the material and the viewpoint at the time of image acquisition as shown in FIG. Unable to extract edges well. Therefore, the normal vector of the surface of the sample 1 obtained by the illuminance difference stereo method is used.
  • the direction of the normal vector of the surface derived from a plurality of images is calculated by calculating the difference between adjacent pixels, the angle change of the normal vector is calculated, the threshold value B2015 is set, and the angle change exceeds a certain level.
  • the case is determined to be an edge.
  • the threshold value B2015 is determined by the user in consideration of the edge sharpness included in the shape.
  • the illuminance difference stereo method when the normal vector is derived from the intensity of the image, the set light source direction and the reflectance of the sample 1 are known. However, an error is included in the set position in the light source direction and the actual position. Also, the known reflectance is not an accurate value. Accordingly, the normal vector derived in S1402 includes an error. Further, the shape derived in S1403 includes a systematic error. In order to correct this error, the distance measurement unit and the result of the stereo method are used.
  • the coordinate transformation in the space coordinates can be expressed as in Equation (1).
  • the original coordinate (x y z 1) is multiplied from the left by a 3x4 transformation matrix consisting of 12 coefficients to obtain the transformed coordinate (x 'y' z '1).
  • the twelve variables of the transformation matrix can be obtained by deriving transformation equations of the original coordinates and the transformed coordinates for three different planes. Details will be described with reference to FIG.
  • a range 2050 is set in the measurement result of the sample 1 by the distance measurement unit 130, and an equation representing the plane S2051 is derived in the xyz space.
  • the setting of the range S250 is obtained by providing a threshold C for the change in the normal vector direction on each measurement plane and setting a range smaller than a certain threshold C as a plane.
  • the threshold value C for the direction change of the normal vector is designated by the user.
  • an equation is derived from the measurement result obtained by the illuminance difference stereo method for the plane 2052 at the same location as the plane 2051, and the coefficient of the first row of the transformation matrix is derived from both equations. Similarly, the coefficients of the second and third rows of the transformation matrix are derived for the other two planes.
  • the measurement result of the illuminance difference stereo is set to (x y z 1), and is converted into the (x ′ y ′ z ′ 1) space by a conversion matrix, thereby obtaining shape information 2053 in which the systematic error is corrected.
  • a method of weighting and adding the point groups acquired by the heterogeneous sensors with the corresponding point distances in the connection between the point groups in S1412 and S1413.
  • a triangular normal vector formed by a point of interest and at least two adjacent points is used as a weighting function.
  • a normal vector at the point of interest is derived from the point group of the point of interest and the adjacent points acquired by the distance measurement method and the stereo method, respectively.
  • the weight of the point group obtained by the distance measurement method and the stereo method is increased, and as the inner product is closer to 1, the weight of the point group obtained by the illuminance difference stereo method is increased.
  • the combination of the normal vector directly calculated by the illuminance difference stereo method and the point group calculated in S1412 is calculated using the normal vector as a weight in the same manner as S1412. Note that, when the measurement density differs greatly between the point groups between the different sensors, the data is interpolated so that the normal vectors are smoothly connected. In this way, by using the normal vector for the point cloud connection, a surface shape that has not been taken into account in the conventional method of corresponding point distance is taken into consideration, so that it is possible to combine the point clouds with higher accuracy. .
  • FIG. 29 shows a GUI (Graphic User Interface) of the shape measuring apparatus shown in FIG. A GUI is displayed on the PC display 400.
  • the threshold value A is a parameter that determines the degree of exception value removal
  • the threshold value B is an edge extraction parameter
  • the threshold value C is a parameter that determines an area that can be regarded as a plane. Yes.
  • the measurement start button 404 is pressed to perform measurement.
  • the measurement result is displayed in a measurement result display window 405.
  • the CAD comparison button 406 compares the measurement result with the CAD data, and the difference from the CAD is displayed in the error display box 407.
  • the magnitude of the error is represented by a statistical maximum value, average value, standard deviation, or the like. Further, NG is displayed in the OK / NG display box 408 when it is large and OK when it is small, depending on the size of the allowable error value set in advance.
  • the distance measurement method, the stereo method, and the illuminance difference stereo method are used to correct the data and complementarily integrate, thereby taking advantage of the advantages of the respective three-dimensional shape measurement methods.
  • a three-dimensional shape inspection can be performed with high measurement accuracy regardless of the shape of the measurement target.
  • a fourth embodiment of the present invention will be described with reference to FIGS.
  • the difference from the third embodiment is that only two types of measurement methods are used: a distance measurement method and an illuminance difference stereo method.
  • the inspection flow is shown in FIG.
  • FIG. 31 shows the GUI.
  • the difference from the third embodiment is that there is no input box for threshold B, which is a parameter related to the stereo method.
  • only two types of distance measurement method and illuminance difference stereo method are used.
  • the present invention is not limited to this.
  • a combination of two types of distance measurement method and stereo method may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　複数の３次元形状計測法、表面計測手法を相補的に組み合わせることで、測定対象の形状によらず高い計測精度を確保した３次元形状検査方法およびその装置を提供することを目的とする。　本発明は、検査対象の第１の形状データを取得する第１の３次元形状センサと、前記検査対象の前記第１の形状データとは異なる第２の形状データを取得する第２の３次元形状センサと、前記第１の形状データと前記第２の形状データとを補正し、統合する相補的統合部とを備えることを特徴とする３次元形状検査装置を提供する。

Description

形状検査方法およびその装置
　本発明は、例えば、加工品および加工工具における形状検査方法および検査装置に関する。
　ものづくりにおける加工・組み立て中の製品の品質確保を目的に、目視検査員の技量に左右されない定量的・製造プロセスへのフィードバックが可能な加工工具、製品の形状・表面状態検査技術が求められている。
　特許文献１にはレーザ光走査により広範に３次元形状測定を行うことができる３次元形状測定において、３次元形状に色彩や陰影を付しても、反射光量が一定となるようにレーザ光量を調整することで精度が良好な３次元形状測定を実施する方法が提案されている。
　また、特許文献２には、光切断法にて計測した測定対象物の形状を現す測定点データと基準点データとを逐次収束処理に基づいて位置合わせし、位置合わせ後の測定点データと基準点データとに基づいて測定対象物の形状を評価する物体形状評価装置について記載されている。位置合わせ処理においては、隣接する測定点の間の隣接点間距離または隣接する基準点の間の隣接点間距離に基づいて隣接点間距離重み係数を決定し、当該隣接点間距離重み係数が逐次収束処理における逐次収束評価値を求める際に用いられる。
特開２００９－２０４４２５ 特開２０１０－１０７３００
　しかし、特許文献１、２のように単一の３次元形状測定方法により、３次元形状測定を行っても例えば、測定対象の形状に鋭角、急峻な面が含まれている場合に計測精度が確保するのが困難となっている。
　そこで、本発明は、上記問題点に鑑み、複数の３次元形状計測法、表面計測手法を相補的に組み合わせることで、測定対象の形状によらず高い計測精度を確保した３次元形状検査方法およびその装置を提供することを目的とする。
　上記課題を解決するため、本発明は、検査対象の第１の形状データを取得する第１の３次元形状センサと、前記検査対象の前記第１の形状データとは異なる第２の形状データを取得する第２の３次元形状センサと、前記第１の形状データと前記第２の形状データとを補正し、統合する相補的統合部とを備えることを特徴とする３次元形状検査装置を提供する。
　また、他の観点における本発明は、第１の形状データを取得し、前記検査対象の前記第１の形状データとは異なる第２の形状データを取得し、前記第１の形状データと前記第２の形状データとを統合することを特徴とする３次元形状検査方法を提供する。
　本発明によれば、複数の３次元形状計測法、表面計測手法を相補的に組み合わせることで、測定対象の形状によらず高い計測精度を確保した３次元形状検査方法およびその装置を提供することができる。
本発明の実施例１に係る３次元形状検査装置の構成を示すブロック図である。 本発明の実施例１に係る相補的統合の手順を示すフロー図である。 本発明の実施例１に係る試料と面の方向を示す図である。 本発明の実施例１に係る点群データと画像データの統合手順を示すフロー図である。 本発明の実施例１に係る点群データと画像データの特徴点での位置合わせを示す図である。 本発明の実施例１に係る相補的統合の手順を示すフロー図である。 本発明の実施例１に係る相補的統合の手順を示すフロー図である。 本発明の実施例１に係る試料の類似性を示す図である。 本発明の実施例１に係る自己参照形状データによる形状定量化を示すフロー図を示す。 本発明の実施例１に係る自己参照形状データの導出方法を示す図である。 本発明の実施例１に係る平均形状データによる形状定量化を示すフロー図を示す。 本発明の実施例１に係る平均形状データの導出方法を示す図である。 本発明の実施例１に係る自己参照形状データとＣＡＤデータを用いた形状不良定量化の手順を示すフロー図である。 本発明の実施例１に係る自己参照形状データと平均形状データを用いた形状不良定量化の手順を示すフロー図である。 本発明の実施例１に係る２次元カメラ画像にて撮像された試料表面の正常部と欠陥部の特徴量の違いからの欠陥の検出を示す図である。 本発明の実施例１に係る２次元カメラ画像にて撮像された試料表面の正常部と欠陥部の特徴量の違いから欠陥を検出する手順を示すフロー図である。 本発明の実施例１に係る穴あけ加工具の影響度を導出する手順を示すフロー図である。 本発明の実施例１に係る穴あけ加工具の検査パラメータを示す図である。 本発明の実施例１に係る検査結果を表示するＧＵＩを示す図である。 本発明の実施例２に係る３次元形状検査装置の構成を示すブロック図である。 本発明の実施例３に係る距離計測センサによる検査手順を示すフロー図である。 本発明の実施例３に係るステレオ法による検査手順を示すフロー図である。 本発明の実施例３に係る照度差ステレオ法による検査手順を示すフロー図である。 本発明の実施例３に係る相補的統合検査による検査手順を示すフロー図である。 本発明の実施例３に係る例外値を含む計測結果を模式的に示した図である。 本発明の実施例３に係る法線ベクトルの角度変化を示す図である。 本発明の実施例３に係るエッジ抽出法を示す図である。 本発明の実施例３に係る照度差ステレオの補正方法を示す図である。 本発明の実施例３に係るＧＵＩを示す図である。 本発明の実施例４に係る相補的統合検査による検査手順を示すフロー図である。 本発明の実施例４に係るＧＵＩを示す図である。
　３次元形状の検査には、３次元形状を計測し、参照モデルと比較することで形状不良を定量化し、さらに不良定量値からその影響度を見積もることが必要となる。ここで、影響度とは、不良定量値が与える、製品であればその製品の性能を表す指標への、加工工具であれば加工性能を表す指標への影響を定量化したものである。
　特許文献１、２におけるの３次元計測装置は、上記技術に関してそれぞれ課題を有している。計測時にエッジや鋭角部の精度の不足する傾向があること、計測したデータの比較を行う際ＣＡＤデータを必須とする場合が多くＣＡＤデータが手元にない場合には検査ができないこと、形状不良値から影響度の推定機能を備えていないことがある。
　以下、上記問題点に鑑みなされた本発明の実施例を図面を用いて説明する。
　本発明の第１の実施例を図１から図１７を用いて説明する。
　図１に３次元計測装置の構成を示す。試料１は、保持機構１０１および１０２によって保持されている。ここで、試料１と保持機構１０１および１０２の全体がサーボモータ１０３に接続されており、ｘｚ平面上でｙ軸を中心とした回転機構を有する。ここで、保持機構１０１および１０２は、サーボモータ１０３の回転量と試料１の回転量にずれが生じない適度な保持力を持つ。サーボモータ１０３の回転により、試料１と画像撮像部１２０および点群計測部１３０との相対位置を設定する。ここで、試料１は、試料１と画像撮像部１２０および点群計測部１３０との相対位置は、検査カバー率（＝検査可能面積/全体面積試料）が大きくなるように、つまり検査領域がより広くなるように、保持機構１０１および１０２に配置する。試料１は３次元形状計測により品質確保が必要な加工品や、加工精度管理のために形状計測が必要な加工工具などである。
　また、試料１、保持機構１０１および１０２、サーボモータ１０３の全体はベース１０５により保持されており、ベース１０５はｘステージ１０６、ｙステージ１０７、θステージ１０８に搭載されている。θステージ１０８の回転方向はｘｙ平面内であり、θ軸はｘｙ平面と直行している。ｘステージ１０６、ｙステージ１０７、θステージ１０８およびベース１０５は、防振定盤１１０に搭載されている。サーボモータ１０３はモータコントローラ１０４を、ｘステージ１０６、ｙステージ１０７、θステージ１０８の３つは３軸のステージコントローラ１０９を介し、制御用ＰＣ１４０にて動作が制御される。
　図１に示す３次元計測装置では、試料１の表面状態および形状を、画像撮像部１２０および点群計測部１３０にて計測する。画像撮像部１２０では、照明部１２１により試料１を任意の方向より照明し、その反射光、散乱光、回折光、拡散光をレンズ１２２を用いて２次元カメラ１２３にて撮像し、３次元形状を２次元の画像データとして取得する。照明部１２１にはランプ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を使用でき、図１は単一方向からの照明を示しているが、照明方向は複数方向でもよいし、リング状照明を用いてもよい。また、単一方向から照明する場合においても、照明方向を自由に設定できる機構を持ち、試料１の表面状態、形状に応じて、表面凹凸や形状を顕在化する方向から照明光を照射することができる。２次元カメラ１２３にはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどが使用できる。ここで、２次元カメラ１２３の画素ピッチは、レンズ１２２の倍率と開口率から決まる分解能より細かくなるように設定する。２次元カメラ１２３はカメラコントローラ１２４を介し、制御用ＰＣ１４０にて制御され、計測結果はモニタ１４１に出力される。２次元カメラ１２３にて撮像された画像より、形状を求める手法に、３角測量に基づくステレオ法、レンズの焦点を動かしピントを合わせることで距離を計測するレンズ焦点法、物体に格子パターンを投影し物体表面の形状に応じて変形したパターン模様から形状計測するモアレ法などがある。また、表面凹凸を検出する手法として、照明方向による陰影の違いを利用し、対象物体の面の法線ベクトル方向を推定する照度差ステレオ等がある。
　点群計測部１３０は、点群計測センサ１３１とセンサコントローラ１３２からなり、制御用ＰＣ１４０にて制御され、計測結果はモニタ１４１に出力される。点群計測センサ１３０は、非接触の光学式や接触式プローブ式等があり、物体表面の形状を計測し、多数の点の３次元座標を点群として出力する装置である。光学式の点群計測センサは、多くの手法が提案されており、いずれの方法も本発明に適用可能である。以下に本発明に使用可能な方式として、三角測量に基づく光切断法、物体へ光を当て、その光が戻ってくる時間によって距離を計測するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）法、レンズの焦点を動かしピントを合わせることで距離を計測するレンズ焦点法、物体に格子パターンを投影し物体表面の形状に応じて変形したパターン模様から形状計測するモアレ法、白色干渉を用いた干渉法などがある。また、近年、周波数空間において等間隔に並ぶ多数の光周波数モードを持つ光周波数コムを用いた点群計測法や、周波数帰還型レーザを用いた点群計測法も提案されている。
　詳細は後述するが、図１の装置は、試料１の表面状態や形状計測を精確に実施するため、２次元カメラ１２３の画像と、点群計測センサ１３０のデータを統合する相補的統合部１４０１、制御用ＰＣ１４０に接続された３Ｄ形状を表すＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データ１４２が格納された格納部、ＣＡＤデータ１４２から点群計測センサ１３１により形状データを取得する領域を特定する領域特定部、ＣＡＤデータ１４２もしくは試料１が持つ類似性から導いた自己参照形状データと相補的統合部１４０１により統合されたデータとを比較して形状不良値を定量化する不良定量化部１４０２、不良定量部１４０２により定量化された不良具合より、過去の実験結果およびシミュレーション結果に基づくデータベース（ＤＢ）１４３を参照し、製品の出来具合をOK、NG判定もしくは程度の判断までを行う判定部を持つ。また、計測効率の向上のため、ＣＡＤデータ１４２を元に、各手法の得手不得手を判断し、距離計測センサ１３１および２次元カメラ１２３にて形状データを取得する領域を特定する領域特定部を持ってもよい。
　以下、本発明にて提案する点群計測法と画像の利点を組み合わせることでより正確に３次元形状・表面凹凸を計測する相補的統合、相補的統合により復元した試料の着目箇所の３次元情報の形状不良を定量化する不良定量化法、および形状不良が最終的に製品の出来栄え、および加工工具の加工精度の出来栄えへの影響度を推定する方法について以下に詳細に説明する。
　（相補的統合）
　点群計測法は大局的な形状の把握には向いているが、局所的な変化や微小凹凸に対しては計測精度の低下が生じる。プローブを用いた接触式ではプローブ走査が困難なエッジや鋭角部で形状計測精度が低下する傾向がある。また、レーザ等の光学を応用した非接触式でも、エッジや鋭角部、および急峻な傾きを持つ形状は、光の反射角が平坦な形状とは大きく異なり、測定精度が低下する傾向がある。さらに、点群計測法では試料の表面粗さ等の微小凹凸の計測は不得手である。
　ここで、２次元カメラである照明下でエッジ部や鋭角部、および急峻な傾きを持つ形状を取得した場合、取得画像中では周辺との明度差が大きくなる、もしくは明度変化が大きくなるという特徴を持つ。そのため、点群計測法が不得手とするエッジ部や鋭角部、および急峻な傾きを持つ形状の情報を画像から復元することができる。また、表面状態や微小凹凸についても画像中の陰影からその形状を導出することができる。しかし、点群計測法が得意とする大局的な形状については、平坦な強度分布の画像となり、特徴的な箇所が少ないため、形状の復元が困難な場合がある。
　本実施例では、これら点群計測法の苦手とする箇所を２次元カメラにより撮像した画像を用いて補うことで、点群計測のみまたは２次元カメラ画像のみを用いた場合よりも高精度な３次元形状計測を実現する相補的統合を提案する。以下、相補的統合方法の具体例を示す。
　図２に形状計測における相補的統合の手順を示す。試料の３次元形状を表すＣＡＤデータには形状を構成する面の方向を表す情報が含まれている。点群計測法には、手法によって測定精度が保証されている面の方向、傾きがある。この測定精度が保証されている領域を点群計測センサにて計測可能な領域とする。ＣＡＤデータを読み込み（Ｓ１００）、試料１の計測領域を設定し（Ｓ１０１）、図１に示す試料１の保持する際の配置および回転軸と点群計測センサの相対位置を算出し（Ｓ１０２）、図３に示す試料の面と点群計測センサとの傾きβが点群計測センサの特性で決まるしきい値以下もしくは以上を判定し（Ｓ１０３），点群計測が可能な面の領域を領域特定部により特定する。しきい値以下の領域については点群計測センサにて形状を表す点群を計測する（Ｓ１０４）。しきい値以上の領域は、点群計測センサの精度が保証されないので、２次元カメラにて撮像し（Ｓ１０５）、撮像された画像から形状データを推定する（Ｓ１０６）。点群計測センサの点群と画像より推測した形状データの位置情報を照合し（Ｓ１０７）、所望の形状データを取得する（Ｓ１０８）。
　２次元カメラにて撮像した画像から形状データを推定する（Ｓ１０５）には、複数の手法がある。図１の装置構成においては、サーボモータ１０３の回転量を制御することで試料１を多数の視点から２次元カメラ１２３で撮像することができる。これら複数視点からの画像を用いて点群計測センサが苦手とするエッジ、鋭角部などの形状データを推定する。形状データの推定には、三角測量法に基づいた奥行き測定法であるステレオ法、画像の陰影から測定面の傾きを推定するインバースレンダリング法、複数画像のシルエットから試料の輪郭を推定する視体積交差法を用いる。ステレオ法は同一の視野を異なる方向から撮像した２枚の画像を用いる。異なる方向からの画像は、図１のサーボモータ１０３を一定量回転させ、２次元カメラ１２３との相対位置を制御し、取得する。例えば、１枚目の画像を取得した後、サーボモータ１０３にて試料１を５度回転させ、２枚目の画像を取得する。これら２枚の画像から三角測量の原理を用いて奥行きを算出する。サーボモータを５度刻みに３６０度回転させることで、試料１の回転軸に平行な面の形状データを取得することができる。インバースレンダリング法では、照明状態と物体反射率を既知として、２次元カメラにて得られた画像より、レンダリング方程式を用いて幾何形状を推定する手法である。１枚の画像から物体の形状データを取得することが可能である。ステレオ法と同様に、サーボモータ１０３の回転により２次元カメラ１２３との相対位置を制御することで、試料１の回転軸に平行な面の形状データを取得することができる。視体積交差法では、視点を頂点、シルエットを断面とする錐体である視体積を導出し、すべての視点における視体積の共通部分を求めることにより、対象物の形状を復元する手法である。サーボモータ１０３を回転させ試料１の回転軸に平行な面の画像を３６０度分、２次元カメラ１２３にて取得し、各画像のシルエットからそれぞれ視体積を導出し、各画像の視体積の共通部分から形状データを取得する。画像からシルエットを取得するには、対象物を含む入力画像と、あらかじめ用意された背景画像との差分を計算することでシルエット抽出する背景差分や、視点の異なる複数毎画像の共通部分の統計値を利用してシルエット抽出するＤａｖｉｓの方法等がある。
　図４に位置照合（Ｓ１０７）の例を示す。取得した点群データ（Ｓ２００）と画像データ（Ｓ２０２）は点群計測部と画像撮像部の設計時に決まる空間分解能が異なる。そこで、図５に示すように点群データの空間分解能を画像撮像部により取得した画像データと同じスケールとなるように調整する（Ｓ２０１）。ここで、スケールの調整は点群データと画像データの空間分解能が同じになれば、画像処理部に実施してもよいし、点群データと画像データの両方に施してもよい。また、点群データと画像データが同じ空間分解能になるよう設計されている場合には、このスケール調整（Ｓ２０１）は必要ない。スケール調整（Ｓ２０１）後、点群計測部と画像撮像部の幾何学的配置の違いから、点群データと画像データを粗調整する（Ｓ２０３）。粗調整（Ｓ２０３）後に、図５の点群データにて変位が急峻に変化する点１６１、画像において強度変化の大きい箇所１６２の両データにて共通の特徴点にて詳細な位置照合を実施する（Ｓ２０４）。特徴点が複数存在する場合には、各特徴点同士の距離の総和が最小となるように位置照合を行う。もしくは特徴点同士の距離が統計的に中間値となるように位置照合を行ってもよい。
　図２には形状データを取得する際の相補的統合フローを示したが、点群計測法の不得手な表面粗さ等の点群計測法の精度以下の微小凹凸の計測については、図１のレンズ１２２と２次元カメラ１２３の画素サイズで決まる分解能が着目する微小凹凸が十分捕捉できる高さに設定し、画像を取得する。
　図２にはＣＡＤデータを用いて点群計測する領域を算出する方法を示したが、図６に示す取得した点群データとＣＡＤデータとの比較結果を用いて２次元画像を用いる領域を決定する方法でも、２次元画像との相補的統合が可能である。試料の形状計測を行う領域を設定し（Ｓ３００），点群計測を行う（Ｓ３０１）。試料のＣＡＤデータ（Ｓ３０２）を入力し、（Ｓ３０１）にて計測した点群とを位置合わせして対応点同士の距離を算出する（Ｓ３０３）。この照合には、点群の照合に広く用いられているＩＣＰ（Ｉｔeｒａｔｉｖｅ　Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）法等を用いる。ＩＣＰ法では、ここで、計測した点群とＣＡＤデータの各対応点間の距離の平均を取り、この平均値があるしきい値と比較を行う（Ｓ３０４）。しきい値以上の領域は、点群計測センサの精度が保証されないので、２次元カメラにて撮像し（Ｓ３０５）、撮像された画像から形状データを推定する（Ｓ３０６）。点群計測センサの点群と画像より推測した形状データの位置情報を照合し（Ｓ３０７）、所望の形状データを取得する（Ｓ３０８）。実際の計測結果とＣＡＤを比較し、点群計測結果の使用可否を決定するため、図２に示したフローでは不可能な点群計測におけるはずれ値を除去することができ、計測の精度が向上する。なお、各対応点間の距離の平均と比較するしきい値は、検査対象である形状不良や表面凹凸等よりも大きな値を設定する。
　ここまで述べた図２と図６の方式では、形状データの復元に点群データもしくは画像データのどちらかを取得していたが、両方のデータを取得しておき、形状計測においてエッジや鋭角部は画像データを用いて、それ以外は点群データを用いてもよい。また、表面凹凸の検査には画像データを用いてもよい。図７に、点群データと画像データの両方をＣＡＤデータ比較前に取得する計測のフローを示す。試料の形状計測を行う領域を設定し（Ｓ４００），設定した領域に対し点群計測を行い（Ｓ４０１）、さらに画像も撮像する（Ｓ４０２）。計測後にＣＡＤデータを読み込み（Ｓ４０３）、試料の面と点群計測センサとの傾きβが点群計測センサの特性で決まるしきい値以下もしくは以上を判定し（Ｓ４０４），点群計測が可能な面の領域を明らかにする。しきい値以下の領域については点群計測センサにて計測した形状データを採用し（Ｓ４０６）、しきい値以上の領域では画像の陰影より形状データを算出する（Ｓ４０５）。そして、点群計測データと画像より算出した形状データを位置合わせし（Ｓ４０７）、形状データを出力する（Ｓ４０８）。点群データと画像データの両方をＣＡＤデータ比較前に取得する場合、点群データと画像データを位置合わせする際には重複部分が必要となり、両方のデータを全領域にわたって取得するため、データ量は増加するが、重複部分の不足は発生しない。従って、点群データと画像データの両方をＣＡＤデータ比較前に取得することで、点群データと画像データのうち、精度の高いデータを使用することができ、計測の精度をさらに向上させることができる。
　（不良定量化）
　形状不良を定量化するため、計測した形状と基準となる形状とを定量的に比較する。基準となる形状として、理想形状であるＣＡＤデータ、もしくは試料自身の類似性を利用し算出した平均的な自己参照形状データ、複数個の同形状の試料の平均形状データのいずれか、もしくは複数種を用いる。各形状データの導出方法および不良定量化方法、組み合わせについて以下に記述する。
　ＣＡＤデータを用いる場合は、測定した形状データとＣＡＤデータとの差分をとり、その差分値を形状不良値として出力する。
　試料自身の類似性を利用した自己参照形状データの導出方法および自己参照形状データを用いた形状不良定量化について説明する。図８は測定対象である試料の例として６枚羽の羽根車１７０を示している。６枚の羽１７０ａ～１７０ｆは同一の形状を持つ。図１の検査装置に羽根車中心軸１７０１とｙ軸が一致するよう搭載し、ｙ軸中心にサーボモータ１０３で回転させながら、点群計測センサ１３１および２次元カメラ１２３にて前述した方法にて形状・表面データを取得する。自己参照形状データの導出フローを図９に示す。図１の検査装置にて形状・表面データを取得し（Ｓ５０１）、形状・表面データ中から類似性を認識する（Ｓ５０２）。羽根車１７０の形状を表す波形を図１０に示す。図１０（ａ）に各羽１７０ａ～１７０ｆの波形のプロファイル１７１ａ～１７１ｆは設計上は同一のプロファイルを示す。これらプロファイル１７１ａ～１７１ｆの類似性の認識は、手動で装置操作者が行ってもよいし、パターン認識技術に基づき自動認識してもよい。同形状部分が３つ以上ある場合、それらの統計的な平均値より自己参照形状データ１７１を算出する（Ｓ５０３）。統計的な平均値は、自己参照形状データから形状不良や表面凹凸不良の影響を除去するために、メディアンにて算出したり、最大値と最小値を省き平均値にて算出したりする。ここで、形状不良や表面凹凸不良が生じる確率が低いことを想定している。この自己参照形状データ１７１と各プロファイル１７１ａ～１７１ｆとの位置合わせし（Ｓ５０４）、図１０（ｂ）に示すようにそれらの差分を算出し（Ｓ５０５）、その差分値を形状不良値として出力する（Ｓ５０６）。試料自身の類似性を利用するため、ＣＡＤデータがなくても形状不良を定量化できる。
　次に、複数個の同形状の試料の平均形状データの導出方法および平均形状データを用いた形状不良定量化について説明する。平均形状データの導出フローを図１１に示す。図１の検査装置にて形状・表面データを取得し（Ｓ６０１）する。羽根車１７０の形状を表す波形を図１２に示す。図１２（ａ）に羽根車をｎ回計測したときのそれぞれの全体のプロファイル１７２ａ～１７０ｎを示す。これらプロファイルの統計的な平均値より平均形状データ１７２を算出する（Ｓ６０２）。統計的な平均値は、平均形状データから形状不良や表面凹凸不良の影響を除去するために、メディアンにて算出したり、最大値と最小値を省き平均値にて算出したりする。ここで、形状不良や表面凹凸不良が生じる確率が低いことを想定している。この平均形状データ１７２と各プロファイル１７２ａ～１７１ｎとを位置合わせし（Ｓ６０３）、図１２（ｂ）に示すようにそれらの差分を算出し（Ｓ６０４）、その差分値を形状不良値として出力する（Ｓ６０５）。自己参照形状データは、試料自身に類似性がないと利用できない。一方、平均形状データは複数の試料から形状データを導出するため、ＣＡＤデータがなく、類似性もない試料についても比較検査が可能となる。
　次に、ＣＡＤデータ、自己参照形状データ、平均形状データの３つの基準となる形状データを組み合わせた形状不良定量化について説明する。平均形状データを算出するには試料の個数が足りないときには、図１３に示すように、自己参照形状データとＣＡＤデータを用いて形状不良を定量化する。形状・表面凹凸データを図１の装置にて計測し（Ｓ７０１）、類似性の有無を判定する（Ｓ７０２）。前述したとおり、類似性の認識は、手動で装置操作者が行ってもよいし、パターン認識技術に基づき自動認識してもよい。類似性がない場合には、測定した形状データとＣＡＤデータとの差分をとり、その差分値を形状不良値として出力する（Ｓ７０３）。類似性がある場合には、類似部は図９に示すフローに従い自己参照形状データとの差分値を算出し（Ｓ７０４）、非類似部はＣＡＤデータとの差分を算出するし（Ｓ７０５）、形状不良値を出力する（Ｓ７０６）。
　平均データが算出できる場合には、図１４に示すように、自己参照形状データと平均形状データを用いて形状不良を定量化する。形状・表面凹凸データを図１の装置にて計測し（Ｓ８０１）、類似性の有無を判定する（Ｓ８０２）。前述したとおり、類似性の認識は、手動で装置操作者が行ってもよいし、パターン認識技術に基づき自動認識してもよい。類似性がない場合には、図１１に示すフローに従い、測定した形状データと平均形状データとの差分をとり、その差分値を形状不良値として出力する（Ｓ８０３）。類似性がある場合には、類似部は図９に示すフローに従い自己参照形状データとの差分値を算出し（Ｓ８０４）、非類似部は平均形状データとの差分を算出し（Ｓ８０５）、形状不良値を出力する（Ｓ８０６）。
　試料表面の凹凸などの欠陥検出を行う際、２次元カメラ画像にて撮像された試料表面の正常部と欠陥部の特徴量の違いから欠陥を検出してもよい。特徴量とは、画像の特徴を表すもので高次局所自己相関（Ｈｉｈｇｅｒ　Ｏｒｄｅｒ　Ｌｏｃａｌ　Ａｕｔｏｃｏｌｌｅｒａｔｉｏｎ：ＨＬＡＣ）特徴量等がある。本発明においては、２次元カメラの位置、照明の位置、および試料の傾きも特徴量として用いる。図１５に示す２次元カメラ１２３の位置は単位ベクトルＩ３０１および照明１２１の位置は単位ベクトルＳ３０２、直交座標系における試料の傾きは、点群計測センサにて計測した結果を用い、例えば、点群中の隣接する３点にて形成される三角パッチ３０３の法線ベクトル３０４を試料の傾きを表す特徴量として用いる。ＣＡＤデータがあり、表面凹凸のみを検査する場合は、法線ペクトル３０４の導出にＣＡＤデータを用いてもよい。２次元カメラ１２３により得られる画像は、照明１２１の位置、2次元カメラ１２３の位置、試料の傾きに依存するため、画像の特徴のみではなく、これらを特徴として用いることで、欠陥部３０５と正常部をより正確に判別することができる。また、試料の形状により生じる遮蔽部３０６を算出することができ、影による輝度の低下による画像の特徴の変化も考慮し、欠陥部３０５と正常部をより正確に判別することができる。
　図１６にフロー図を示す。２次元カメラにて試料の画像を計測する（Ｓ１００１）。２次元カメラで取得した画像の各画素（もしくは周辺の複数画素から平滑化処理等を施し求めた値）について、２５次元のＨＬＡＣ特徴、照明位置、２次元カメラ位置、試料の法線ベクトルの値を特徴量として算出する（Ｓ１００２）。次に、正常部と欠陥部を教示し、特徴量空間にて正常部と欠陥部を判別する境界を決定する（Ｓ１００３）。境界を決定するにはＳｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ（ＳＶＭ）等を用いる。最後に、（Ｓ１００３）で算出した境界を用いて欠陥部を抽出する（Ｓ１００４）。なお、（Ｓ１００２）にて決定する境界は、検査前にサンプルを用いて決定しておいてもよい。
　（製品の加工精度判定）
　図１の３次元形状検査装置では、形状不良を定量化した後、その形状不良値が、試料が加工品である場合にはその出来栄えを製品の性能を指標として、試料が加工工具である場合には加工精度を指標として良否判定結果を出力する。
　図１７から図１９にて穴あけ加工工具の例を示す。図１７のフローにて検査手順を説明する。工具の形状を表すパラメータを指定する（Ｓ９０１）。この例では、図１８の穴あけ加工工具の先端の磨耗面積１８０と、先端の刃先の角度１８１を評価パラメータとする。次に前述の方式により、試料である穴あけ加工工具の形状を計測し、ＣＡＤデータ、自己参照形状データ、もしくは平均形状データのいずれかと比較し、形状不良値を定量化する（Ｓ９０２）。そして、形状の違いを距離で示した形状不良値から磨耗面積や刃先の角度を計算する（Ｓ９０３）。この磨耗面積や刃先の角度が、加工結果に与える影響を、過去の実験結果および加工シミュレーション結果から見積もる。穴あけ工具の性能を決める穴の深さおよび真円度と、磨耗面積１８０および刃先の角度１８１の関係を過去の実験結果および加工シミュレーション結果と関連付けたデータベースを用意し、磨耗面積に応じた穴の深さ、真円度を見積もる（Ｓ９０４）。また、使用回数による磨耗面積の増大、刃先の角度の変化も推測し、残りの使用回数も算出しておく。さらに、穴あけ加工工具のＯＫ，ＮＧ判定を行うため、あらかじめ穴の深さと真円度に代表される形状異常にしきい値を設定しておき、許容値との大小を判定する（Ｓ９０５）。許容値を超えた場合はＮＧ判定を出力する（ｓ９０６）。許容値以内の場合はＯＫ判定およびデータベースより推定した残りの使用回数を出力する（Ｓ９０７）．加工工具の場合は、加工に付随して発生する切りくずの形状から、加工工具の状態を推定することも可能であり、図１７の手法をそのまま適用できる。図１９に検査条件を入力、結果を出力するＧＵＩを示す。ＧＵＩは検査装置に搭載されているモニタ１４１に表示される。検査領域、加工への影響度として深さや真円度の許容値を入力値とし、測定結果である刃先傾き、磨耗面積、それらから導出した加工への影響度の推定値を出力する。また、最終的な判定値を検査結果１９１として出力する。
　本実施例によれば、点群計測データおよび２次元カメラ画像を相補的に用いることにより、点群計測データおよび２次元カメラ画像それぞれのみを用いた場合よりも高精度な３次元形状計測を実現することができる。
　また、試料自身の類似性を活用し生成した自己参照形状データを用いることで、設計データなしの形状不良定量化が可能となる。
　また、形状不良を、加工品、加工工具が使用される際の性能を基準とした良否判定、良否程度の把握を行うことで、製品の品質・歩留まり予測。加工工具の劣化・磨耗状態と、加工精度低下を考慮した寿命予測等の管理が可能となる。
　本発明の第２の実施例を図２０を用いて説明する。装置構成を図２０に示す。基本的な構成は実施例１と同様であり、図１の２次元カメラ１２３に替えて反射光の偏光状態を解析可能な偏光カメラ２００を用い、照明部１２１に替えてリング照明系２０１を用いている。偏光カメラは各画素の前に微小な偏光子が貼り付けられており、４画素で１グループとし、グループ内の４画素はそれぞれ偏光子の方位が異なる。試料１より反射しくてる光の偏光状態は、面の方向によって異なることが知られており、４画素で得られた異なる偏光情報を統合することで、面の方向を検出することができる。偏光情報を用いることで、通常の画像では識別が困難なシミなどの色の変化があったとしても高い精度で面の方向を決定することができる。また、偏光情報はキズ等の微小凹凸に対する応答性も高く、表面凹凸も効果的に顕在化できる。
　本発明の第３の実施例を図２１－２９を用いて説明する。本実施例では、距離計測法と画像の利点を組み合わせることでより正確に３次元形状・表面凹凸を計測する相補的統合、相補的統合により復元した試料の着目箇所の３次元情報の形状不良を定量化する不良定量化法ついて以下に詳細に説明する。
　本実施例では、複数の計測手法で得られた計測データを相補的に統合し、計測手法の安定性、精度向上を実現する。まず、各計測手法を単独で用いた場合について説明する。
　距離計測法は、大局的な形状の把握には向いているが、局所的な変化や微小凹凸に対しては計測精度が不足する場合が多い。レーザ等の光学を応用した非接触式では、エッジや鋭角部、および急峻な傾きを持つ形状は、光の反射角が平坦な形状とは大きく異なり、測定精度が低下する傾向がある。これらのレーザを用いた距離計測法は、点もしくは線状に整形されたビームを対象に照射し、その反射光の位置から距離を計測する。そのため、3D形状を計測するには、試料もしくはレーザを走査する必要がある。走査の間隔がそのまま計測の空間分解能となる。一方、画像を用いた形状計測法の空間分解能は２次元カメラ１２３の画素サイズとレンズ１２２の倍率に依存し、一般に走査間隔よりも細かいが、なだらかに変化し画像に特徴が表れにくい大局的な形状部の計測は苦手とする。したがって、距離計測法は、画像を用いた方法に比べて、大局的な形状の把握は得意とするが、局所的な微小表面凹凸の計測には不向きである。
　図２１に距離計測法を用いた形状検査のフローを示す。用いる距離計測部１３０の性能に応じて計測領域を決定し（Ｓ１１００）、Ｓ１１００にて決定した計測領域に対し試料１をステージ制御しながら距離計測部１３０にて３Ｄ空間中の座標を表す点群を取得し（Ｓ１１０１）、計測した点群に含まれる距離計測部１３０の計測誤差に起因する例外値を除去し（Ｓ１１０２）、点群に対しメッシュを張り計測形状データとする（Ｓ１１０３）。計測形状データ（Ｓ１１０３）とＣＡＤデータ、もしくは良品をＳ１１００～Ｓ１１０３と同様の過程にて計測した良品形状データとを比較し、計測形状データの形状不良を定量化し（Ｓ１１０４）、しきい値を設けＯＫ/ＮＧ判定を行う（Ｓ１１０５）。
　以下、各ステップを詳細に説明する。
（Ｓ１１００）
　距離計測部１３０は、試料１の面の傾きによって計測精度が制限される。試料１のＣＡＤデータが事前に入手できる場合は、距離計測部１３０と計測対象の位置関係より、計測精度が保証される計測領域を決定することができる。距離計測部１３０により計測される距離情報の精度は、距離計測部１３０と試料１との距離、試料１の距離計測部に対する傾き、試料１の材質に依存している。必要な精度が確保される領域を検査領域として設定する。また、ＣＡＤデータがない場合、試料１の形状を目視し、計測精度が保証されると思われる計測領域を決めてもよい。
（Ｓ１１０１）
　距離計測部１３０と試料１の相対位置は、ｘステージ１０６、ｙステージ１０７、θステージ１０８にて制御される。各ステージを、試料１の計測領域をカバーするよう制御し、３Ｄ空間中の座標を表す点群を取得する。距離計測部１３０にて計測されるのは、試料1表面との距離であるため、各ステージの位置情報を用いて３Ｄ空間座標に変換する。
（Ｓ１１０２）
　距離計測部１３０にて計測された点群には、距離計測部１３０の計測誤差により例外値が生じる。この例外値は、一般に計測点群の統計的な性質より除去される。例えば、ある着目範囲内にて密集している点群の位置の違いを標準偏差で表し、標準偏差のＮ倍距離が離れている点は例外値とするなどの処理が考えられる。
（Ｓ１１０３）
　点群をＣＡＤ比較に適したメッシュ形式に変換する。変換手法はＢａｌｌ－Ｐｉｖｏｔｉｎｇ、Ｐｏｗｅｒ　Ｃｒｕｓｔ等の手法が提案されている。
（Ｓ１１０４）
　Ｓ１１０３にてメッシュ化した計測データを、ＣＡＤデータと比較し、形状不良を定量化する。また、ＣＡＤデータがない場合には、良品をＳ１１００～Ｓ１１０３の手順にてデジタル化した良品形状データと比較し、形状不良を定量化することもできる。
（Ｓ１１０５）
　Ｓ１１０４にて定量化した形状不良値に対し、しきい値をあらかじめ設定し、ＯＫ/ＮＧ判定を自動的に行う。
　複数画像の視点の違いを利用し立体形状を復元するステレオ法は、距離計測法が苦手とするエッジ部の形状把握に適している。これは、エッジ部は画像中では強度が急激に変化する特徴的な箇所であるためである。また、テクスチャのある試料表面の形状復元にも適している。図２２にステレオ法を用いた形状検査フローを示す。ステレオ計測にて形状を計測する計測領域を決定し（Ｓ１２００）、Ｓ１２００にて決定した計測領域に対し試料１をθステージ１０８にて回転させながら２次元カメラ１２３にて異なる視点の画像を取得し（Ｓ１２０１）、取得した画像の中より、エッジを抽出する（Ｓ１２０２）。異なる視点の画像にてＳ１２０２よりエッジを抽出し、各画像間にて同一箇所を示す対応点を探索し（Ｓ１２０３）、視点のずれと対応点の位置ずれ量より奥行き情報を算出し、３Ｄ空間中の座標を示す点群を導出する（Ｓ１２０４）。算出した点群に対しメッシュを張り計測形状データとする（Ｓ１２０５）。計測形状データとＣＡＤデータ、もしくは良品をＳ１２００～Ｓ１２０５と同様の過程にて計測した良品形状データとを比較し、計測形状データの形状不良を定量化し（Ｓ１２０６）、しきい値を設けＯＫ/ＮＧ判定を行う（Ｓ１２０７）。
　以下、各ステップを詳細に説明する。
（Ｓ１２００）
　ステレオ計測にて形状計測する領域を決定し、画像を取得する箇所を決定する。
（Ｓ１２０１）
　Ｓ２００にて決定した測定領域に対して、θステージ１０８の回転角を設定し、回転させながら、異なる視点にて複数枚の画像を取得する。回転角は、物体の大きさに依存するが、画像間にて同一箇所であるという対応関係が取れるよう、十分細かく設定する。
（Ｓ１２０２）
　Ｓ１２０１にて取得した画像より、エッジを抽出する。エッジ抽出には、Ｃａｎｎｙエッジ抽出法やＳｏｂｅｌフィルタを用いた方法等を用いることができる。
（Ｓ１２０３）
　Ｓ１２０２にてエッジ抽出した視点の異なる複数枚の画像間のエッジ部の対応関係を算出する。対応関係を算出するには、正規化相関法等を用いることができる。
（Ｓ１２０４）
　ステージ移動量より算出可能な視点のずれと、Ｓ１２０３にて算出した対応点の位置ずれ量より、三角測量の原理に基づき奥行き情報を算出し、３Ｄ空間中の座標を示す点群を導出する。
（Ｓ１２０５）
　Ｓ１２０４にて算出した点群をＣＡＤ比較に適したメッシュ形式に変換する。変換手法はＢａｌｌ－Ｐｉｖｏｔｉｎｇ、Ｐｏｗｅｒ　Ｃｒｕｓｔ等の手法が提案されている。
（Ｓ１２０６）
　Ｓ１２０５にてメッシュ化した計測データを、ＣＡＤデータと比較し、形状不良を定量化する。また、ＣＡＤデータがない場合には、良品をＳ１２００～Ｓ１２０５の手順にてデジタル化した良品形状データと比較し、形状不良を定量化することもできる。
（Ｓ１２０７）
　Ｓ１２０６にて定量化した形状不良値に対し、しきい値をあらかじめ設定し、ＯＫ/ＮＧ判定を自動的に行う。
　複数の照明方向を個別に用いて取得した陰影の異なる画像により形状情報を復元する照度差ステレオ法は、前記の距離計測法やステレオ法では困難な表面凹凸情報を取得することができる。照度差ステレオ法の用いた表面凹凸検査フローを図２３に示す。照度差ステレオ計測にて形状を計測する計測領域を決定し（Ｓ１３００）、Ｓ１３００にて決定した計測領域に対し試料１に最低３種の異なる方向から照明を照射し、各照明下にて画像を取得する。θステージ１０８を回転させ、計測領域全体について各照明下にて画像を取得する（Ｓ１３０１）。異なる照明下にて取得した画像より、試料１の反射率をランバート面と仮定し、試料１表面の法線ベクトルを導出し（Ｓ１３０２）、反射率と照明方向を基準サンプル等を用いて較正する（Ｓ１３０３）。Ｓ１３０３にて較正済みの法線ベクトルに積分処理を施し形状データを算出する（Ｓ１３０４）。算出した点群に対しメッシュを張り計測形状データとする（Ｓ１３０５）。計測形状データとＣＡＤデータ、もしくは良品をＳ１２００～Ｓ１２０５と同様の過程にて計測した良品形状データとを比較し、計測形状データの形状不良を定量化し（Ｓ１３０６）、しきい値を設けＯＫ/ＮＧ判定を行う（Ｓ１３０７）。
　以下、各ステップを詳細に説明する。
（Ｓ１３００）
　照度差ステレオ計測にて形状計測する領域を決定し、画像を取得する箇所を決定する。
（Ｓ１３０１）
　Ｓ１３００にて決定した測定領域に対して、最低でも３種類以上の異なる方向から照明を照射し、最低３枚の画像を取得する。θステージ１０８の回転角を設定し、回転させながら、異なる視点にて画像取得を行う。回転角は、物体の大きさに依存するが、画像間にて同一箇所であるという対応関係が取れるよう、十分細かく設定する。
（Ｓ１３０２）
　Ｓ１３０１にて取得した画像に行列計算を施し法線ベクトルを算出する。物体の反射率をランバート面と仮定することで、２次元カメラ１２３にて取得した照明方向の異なる画像の強度からなる強度ベクトルと、照明方向を表す単位ベクトルからなる照明方向行列より、面の法線ベクトルが算出される。一般に、試料１の面がランバート面ではないとき、設定した照明方向に誤差が含まれるとき、算出された法線ベクトルには系統誤差が含まれる。
（Ｓ１３０３）
　Ｓ１３０２にて導出した法線ベクトルに含まれる系統誤差は、試料１と同じ材質でできており、異なる面の傾きが３つ以上含まれた既知の形状サンプルを用いることで較正することができる。ただし、一般に、形状既知のサンプルを入手することは困難であり、誤差を取り除くことが困難である。そのため、照度差ステレオ法は、形状の絶対計測に用いられることは少ない。
（Ｓ１３０４）
　Ｓ１３０２，１３０３にて導出した法線ベクトルを積分することによって、形状情報を表す点群を算出することができる。ただし、Ｓ３０３にて法線ベクトルの誤差を較正仕切れていない場合、点群にも誤差が含まれる。
（Ｓ１３０５）
　Ｓ１３０４にて算出した点群をＣＡＤ比較に適したメッシュ形式に変換する。変換手法はＢａｌｌ－Ｐｉｖｏｔｉｎｇ、Ｐｏｗｅｒ　Ｃｒｕｓｔ等の手法を用いる。
（Ｓ１３０６）
　Ｓ１３０５にてメッシュ化した計測データを、ＣＡＤデータと比較し、形状不良を定量化する。また、ＣＡＤデータがない場合には、良品をＳ３００～Ｓ３０５の手順にてデジタル化した良品形状データと比較し、形状不良を定量化することもできる。
（Ｓ１３０７）
　Ｓ１３０６にて定量化した形状不良値に対し、しきい値をあらかじめ設定し、ＯＫ/ＮＧ判定を自動的に行う。
　次に本実施例の特徴である複数の形状計測手法を相補的に統合した形状検査方法について説明する。２次元カメラ１２３で、ある照明下でエッジ部や鋭角部、および急峻な傾きを持つ形状を取得した場合、取得画像中では周辺との明度差が大きくなる、もしくは明度変化が大きくなるという特徴を持つ。そのため、距離計測法が不得手とするエッジ部や鋭角部、および急峻な傾きを持つ形状の情報を画像から復元することができる（ステレオ法）。また、表面状態や微小凹凸についても画像中の陰影からその形状を導出することができる（照度差ステレオ法）。しかし、距離計測部１３０が得意とする大局的な形状については、平坦な強度分布の画像となり、特徴的な箇所が少ないため、形状の復元が困難な場合がある。ここでは、これらの各手法で得られる情報を相補的にやり取りし較正、統合することで、複雑形状の全体を高精度に計測する方法について述べる。なお、試料１の測定箇所によっては、一つの手法でのみ計測が可能な場合もある。その場合は、相補的な統合ができないため、測定結果をそのまま採用し、統合する。
　図２４にフローを示す。図２１-２３のフローを統合したものであり、手法の統合箇所のみ説明する。
　１つ目に、Ｓ１４０３の照度差ステレオ法にて取得された法線ベクトルを積分して得られる点群情報と、Ｓ１４０７の距離計測部１３０にて得られた点群に含まれるそれぞれの例外値をお互いの比較によって除去する方法を説明する。図２５に詳細を示す。試料１の面２００に対して、距離計測部１３０、照度差ステレオ法にて計測した結果を示す。面２０００には、形状欠陥２００１が含まれる。距離計測部の計測点２００２の分解能はステージの走査分解能に依存し、照度差ステレオ法により導出した法線ベクトル２００６を積分して得られる計測点２００７の分解能は、レンズ倍率とカメラ画素サイズにより決まる。本実施例では、ステージ走査の分解能を100um程度、画素サイズ/レンズ倍率を10um程度を想定する。実験結果には、距離計測センサとカメラの安定性に依存し、ランダムな例外値２００３、２００８が含まれる。
　例外値の判定は、一般に、周辺との比較によりはずれ値を算出することで行われる。例えば、隣接する計測点同士より面を張り、その傾き２００４を導出し、傾きの角度変化量を元に例外値を算出する。図２６に例を示す。点線が距離計測部１３０の結果、実線が照度差ステレオ法の結果を示す。照度差ステレオの結果では、例外値２０１１は、1点のみ局所的に角度変化量が大きく、例外値と判断できる。一方、距離計測部の結果では、分解能が低く角度変化量のみでは、欠陥２００９と例外値２０１０の区別ができない。そこで、距離計測部と照度差ステレオの角度変化量の差分を指標とし、しきい値±Ａ（２０１４）以上の差がある点を例外値と判断する。この処理により、照度差ステレオの例外値２０１２だけではなく、距離計測による例外値２０１３も容易に判断できる。ここで、例外値は計測時にランダムに発生すると考えられ、複数の手法間の比較を行うことで例外値を簡単に除去することができる。また、距離分解能の異なるデータ同士の差分を取る際には、分解能の荒い方のサンプリング間隔を補完する。なお、例外値除去の程度を決定するしきい値±Ａ（２０１４）は、点群データの精度を決定するパラメータとなっており、各計測手法の測定精度以上の値にて、ユーザが任意に設定する。
　２つ目に、Ｓ１４０３の照度差ステレオ法にて取得された法線ベクトルを積分して得られる点群情報を利用してステレオ法に用いる画像のエッジ抽出Ｓ１４０９を高精度化する手法について説明する。一般のエッジ抽出技術は、画像中のエッジ抽出は、ピクセル間の強度変化を算出し、強度変化の大きい箇所をエッジとして認識している。１次微分を用いたCanny法、Sobel法や、２次微分を用いた微分エッジ検出法などがある。しかし、これらの手法は、１枚の画像中の強度情報のみからエッジを判断するため、図２７に示すように材質や画像取得時の視点により、エッジ部が強度変化として現れなかった場合には、うまくエッジを抽出することができない。そこで、照度差ステレオ法にて求めた試料１の面の法線ベクトルを利用する。複数枚の画像から導出した面の法線ベクトルの方向を隣接するピクセル間にて差分計算し、法線ベクトルの角度変化を算出し、しきい値Ｂ２０１５を設定し、一定以上の角度変化がある場合をエッジと判断する。しきい値Ｂ２０１５は、形状に含まれるエッジの鋭さ等を考慮し、ユーザが決める。照度差ステレオ法の法線ベクトルを利用することで、ステレオ法におけるエッジ抽出の精度を改善し、ステレオ法にて導出される点群の精度を上げることができる。なお、照度差ステレオ法に用いる画像は、ステレオ法に用いる画像と同一視点より、複数照明を用いて取得すれば、両手法の画素の位置合わせが不要となる。
　３つ目に、照度差ステレオ法の較正Ｓ１４０４を、距離計測部とステレオ法の結果を統合した点群Ｓ１４１２にて較正する方法を説明する。照度差ステレオ法では、画像の強度から法線ベクトルを導出する際、設定した光源の方向、試料１の反射率を既知としている。しかしながら、光源方向の設定位置と実際の位置には、誤差が含まれている。また、既知としている反射率も正確な値ではない。これらにより、Ｓ１４０２にて導出される法線ベクトルには誤差が含まれる。また、Ｓ１４０３にて導出される形状にも系統的な誤差が含まれる。この誤差を補正するため、距離計測部とステレオ法の結果を利用する。
ここで、空間座標中の座標変換は数式（１）のように示すことができる。
Figure JPOXMLDOC01-appb-M000001
　元の座標(x y z 1)に対して、12個の係数からなる3x4の変換行列を左から乗算することにより、変換後の座標(x’ y’ z’ 1)を得る。変換行列の12個の変数は同一ではない3平面について元座標と変換後座標の変換方程式を導出することにより、求めることができる。図２８にて詳細を説明する。距離計測部１３０による試料１の計測結果の中で、範囲２０５０を設定し、xyz空間内にて平面Ｓ２０５１を表す方程式を導出する。範囲Ｓ２５０の設定は、各計測面における法線ベクトル方向変化にしきい値Ｃを設け、あるしきい値Ｃよりも小さい範囲を平面とすることで求める。法線ベクトルの方向変化のしきい値Ｃは、ユーザが指定を行う。次に、平面２０５１と同一の箇所の平面２０５２を照度差ステレオ法による計測結果の中より、その方程式を導出し、両方程式より、変換行列の１行目の係数を導出する。他の２平面についても同様にして、変換行列の２，３行目の係数を導出する。その後、照度差ステレオの計測結果を(x y z 1)とし、変換行列により、(x’ y’ z’ 1)空間に変換することにより、系統誤差を補正した形状情報２０５３を得る。照度差ステレオ法の系統誤差を、試料１自身の他の計測器データを用いて補正することで、距離計測センサに比べて密な形状データが取得可能となる。さらに、従来必要であった、試料１と同一材質で既知形状の補正用サンプルが必要なくなるというメリットもある。なお、照度差ステレオ法の結果を用いた例外値を除去、エッジ抽出に関しては、照度差ステレオ法に含まれる系統誤差の値を念頭に置き、それぞれの処理に必要となるしきい値を設定する。
　Ｓ１４１２、Ｓ１４１３の点群同士の結合には、異種センサにより取得された点群同士を、対応点距離にて重み付け加算する方法がある。本実施例では、着目する点と隣接する最低２つの点とで形成される３角形の法線ベクトルを重み付け関数として使用する。Ｓ４１２では、距離計測法と、ステレオ法それぞれにて取得された着目点と隣接点の点群より、着目点における法線ベクトルを導出する。これらを結合する際、着目点同士の法線ベクトルの内積を算出する。内積が１に近いほど、面の方向が揃っていることを示しているため、内積が大きいほど係数の大きい重み付けを行うＩＣＰ法を施す。即ち、内積が１に近いほど、距離計測法と、ステレオ法で得られた点群の重み付けを大きくし、内積が１に近いほど、照度差ステレオ法で得られた点群の重み付けを大きくする。Ｓ１４１３については、照度差ステレオ法にて直接算出される法線ベクトルと、Ｓ１４１２にて算出した点群との結合を、Ｓ１４１２と同様に法線ベクトルを重み付けとして算出する。なお、異種センサ間の点群にて、計測密度が大きく異なる場合は、法線ベクトルが滑らかに接続されるように、データを補間する。このように、点群の結合に法線ベクトルを用いることによって、従来の対応点距離による方法では考慮されていなかった面形状が考慮されるため、より高精度な点群の結合が可能となる。
　図１に示す形状計測装置のＧＵＩ（Ｇｒａｐｈｉｃ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を図２９に示す。ＰＣディスプレイ４００にＧＵＩが表示される。計測開始前に、前述したしきい値Ａ４０１，Ｂ４０２，Ｃ４０３の値を入力する。しきい値Ａは例外値除去の程度を決めるパラメータ、しきい値Ｂはエッジ抽出のパラメータ、しきい値Ｃは平面とみなせる領域を決めるパラメータとなっており、計測精度を左右するパラメータとなっている。各パラメータを設定後、計測開始ボタン４０４を押し、計測する。計測結果は、計測結果表示ウィンドウ４０５に表示される。また、ＣＡＤ比較ボタン４０６により、計測結果とＣＡＤデータの比較が行われ、ＣＡＤとの差異が誤差表示ボックス４０７に表示される。誤差の大きさは統計量である最大値、平均値、標準偏差等で表される。また、事前に設定する誤差許容値の大小により、大きいときはＮＧ，小さいときはＯＫをＯＫ／ＮＧ表示ボックス４０８に表示する。
　以上より、本実施例によれば、距離計測法、ステレオ法、照度差ステレオ法をそれぞれ用いて、データを補正して相補的に統合することで、それぞれの３次元形状計測法の利点を活かして、測定対象の形状によらず、高い計測精度で３次元形状検査を行うことができる。
　本発明の第４の実施例を図３０，３１を用いて説明する。第３の実施例との違いは、用いる計測方法が、距離計測法と照度差ステレオ法の２種のみという点である。検査フローを図３０に示す。照度差ステレオ法による結果を補正する際、距離計測の結果のみを用いる点で第１の実施例と異なる。図３１にＧＵＩを示す。第３の実施例との違いはステレオ法に関するパラメータであるしきい値Ｂの入力ボックスがないことである。
　ステレオ法を用いないことで、エッジ部分などのステレオ法が得意とする箇所の精度は低下するが、計算量は減るため、高速化される。試料１のエッジ形状に着目しない場合に適切な手法となる。
　なお、本実施例では、距離計測法と照度差ステレオ法の２種のみを用いたがこれに限らず、例えば、距離計測法とステレオ法の２種の組み合わせであってもよい。
　これまで説明してきた実施例は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、実施例１－４を組み合わせることにより本発明を実施してもよい。
１・・・試料
１０１、１０２・・・保持機構
１０３・・・サーボモータ
１０４・・・モータコントローラ
１０５・・・ベース
１０６・・・ｘステージ
１０７・・・ｙステージ
１０８・・・θステージ
１０９・・・ステージコントローラ
１１０・・・防振定盤
１２０・・・画像撮像部
１２１・・・照明部
１２２・・・レンズ
１２３・・・２次元カメラ
１２４・・・カメラコントローラ
１３０・・・点群計測部
１３１・・・点群計測センサ
１３２・・・センサコントローラ
１４０・・・制御用ＰＣ
１４１・・・モニタ
１４２・・・ＣＡＤデータ
１４３・・・データベース
１４４・・・入力装置
１６０・・・点群データ上の１点
１６１・・・点群データ特徴点
１６２・・・画像データ特徴点
１７０・・・羽根車
１７０１・・・羽根車中心軸
１７０ａ、１７０ｂ、１７０ｃ、１７０ｄ、１７０ｅ、１７０ｆ・・・羽
１７０・・・自己参照形状データ
１７１ａ、１７１ｂ、１７１ｃ、１７１ｄ、１７１ｅ、１７１ｆ・・・プロファイル
１８０・・・磨耗面積
１８１・・・刃先の角度
１９０・・・ＧＵＩ
１９１・・・検査結果
２００・・・偏光カメラ
２０１・・・リング照明系
３０１・・・2次元カメラ方向の単位ベクトル
３０２・・・照明方向の単位ベクトル
３０３・・・三角メッシュ
３０４・・・法線ベクトル
３０５・・・欠陥
３０６・・・遮蔽部
１４０１・・・相補的統合部
１４０２・・・不良定量化部
１４０３・・・判定部

Claims (24)

  1. 　検査対象の第１の形状データを取得する第１の３次元形状センサと、
    　前記検査対象の前記第１の形状データとは異なる第２の形状データを取得する第２の３次元形状センサと、
    　前記第１の形状データと前記第２の形状データとを補正し、統合する相補的統合部とを備えることを特徴とする３次元形状検査装置。
  2. 　検査対象の参照モデルの形状データである参照データを格納する格納部と、
    　前記参照データから前記第１の形状データを取得する領域を特定する領域特定部とを備えることを特徴とする請求項１に記載の３次元形状検査装置。
  3. 　前記相補的統合部により統合された統合データと前記参照データとを定量的に評価する不良定量化部を備える請求項１に記載の３次元形状検査装置。
  4. 　前記第１の３次元形状センサは３次元形状の点群を計測する点群計測センサであり、前記第２の３次元形状センサは３次元形状を２次元の画像データとして取得する２次元カメラであることを特徴とする請求項１に記載の３次元形状検査装置。
  5. 　前記第１の３次元形状センサは３次元形状の点群を計測する点群計測センサであり、前記第２の３次元形状センサは複数の異なる偏光情報から３次元形状を計測する偏光カメラであることを特徴とする請求項１に記載の３次元形状検査装置。
  6. 　前記格納部は検査対象自身のもつ類似性から導いた自己参照形状データを参照データとして格納することを特徴とする請求項２に記載の３次元形状検査装置。
  7. 　前記検査対象を回転させるθステージを備え、
    　前記第２の３次元形状センサは前記θステージを回転させることにより得られる複数の形状データを取得することを特徴とする請求項１に記載の３次元形状検査装置。
  8. 　前記検査対象に複数方向から照明を照射する照明部を備え、
    　前記第２の３次元形状センサは前記照明部で異なる方向から照明を照射することにより得られた複数の形状データを取得することを特徴とする請求項７に記載の３次元形状検査装置。
  9. 　前記不良定量化部によって得られた形状不良値と、実験値またはシミュレーション値とから前記検査対象の形状異常の判定を行う判定部を備えることを特徴とする請求項３に記載の３次元形状検査装置。
  10. 　前記判定部は、前記照明部の位置、前記２次元カメラの位置、前記検査対象の傾きのいずれかを特徴量として用いて形状異常の判定を行うことを特徴とする請求項９に記載の３次元形状検査装置。
  11. 　前記相補的統合部は、前記第１の３次元形状センサで得られた点群における法線ベクトルと前記第２の３次元形状センサで得られた点群における法線ベクトルとにより重み付けを行い、前記第１の形状データと前記第２の形状データとを統合することを特徴とする請求項１に記載の３次元形状検査装置。
  12. 　前記相補的統合部は、前記第１の３次元形状センサで得られた点群における法線ベクトルと前記第２の３次元形状センサで得られた点群における法線ベクトルを用いて前記第１の形状データと前記第２の形状データとを補正することを特徴とする請求項１に記載の３次元形状検査装置。
  13. 　第１の形状データを取得し、
    　前記検査対象の前記第１の形状データとは異なる第２の形状データを取得し、
    　前記第１の形状データと前記第２の形状データとを統合することを特徴とする３次元形状検査方法。
  14. 　検査対象の参照モデルの形状データである参照データを読み込み、
    　前記参照データから第１の形状データを取得する領域を特定し、
    　特定した領域について前記第１の形状データを取得し、
    　前記特定した領域以外の領域について前記検査対象の前記第１の形状データとは異なる第２の形状データを取得することを特徴とする請求項１３に記載の３次元形状検査方法。
  15. 　統合された統合データと前記参照データとを定量的に評価することを特徴とする請求項１４に記載の３次元形状検査方法。
  16. 　前記第１の形状データは３次元形状の点群であり、前記第２の形状データは２次元カメラにより撮像した画像であることを特徴とする請求項１３に記載の３次元形状検査方法。
  17. 　前記第１の形状データは３次元形状の点群であり、前記第２の形状データは偏光カメラにより撮像した画像であることを特徴とする請求項１３に記載の３次元形状検査方法。
  18. 　前記参照データは検査対象自身のもつ類似性から導いた自己参照形状データであることを特徴とする請求項１３に記載の３次元形状検査方法。
  19. 　異なる視点から前記検査対象の複数の前記第２の形状データを取得することを特徴とする請求項１３に記載の３次元形状検査方法。
  20. 　異なる方向から照明を照射された前記検査対象の複数の前記第２の形状データを取得することを特徴とする請求項１３に記載の３次元形状検査方法。
  21. 　前記相補的統合部により統合された統合データと前記参照データとを定量的に評価することによって得られた形状不良値と、実験値またはシミュレーション値かとから前記検査対象の形状異常の判定を行うことを特徴とする請求項１３に記載の３次元形状検査方法。
  22. 　前記検査対象を照射する照明部の位置、前記２次元カメラの位置、前記検査対象の傾きのいずれかを特徴量として用いて形状異常の判定を行う請求項２１に記載の３次元形状検査方法。
  23. 　前記第１の形状データの点群における法線ベクトルと前記第２の形状データの点群における法線ベクトルとにより重み付けを行い、前記第１の形状データと前記第２の形状データとを統合することを特徴とする請求項９に記載の３次元形状検査方法。
  24. 　前記第２の形状データの点群における法線ベクトルと前記第２の形状データの点群における法線ベクトルを用いて前記第１の形状データと前記第２の形状データとを補正することを特徴とする請求項２３に記載の３次元形状検査方法。
PCT/JP2012/077386 2011-10-24 2012-10-24 形状検査方法およびその装置 WO2013061976A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201280052260.2A CN104024793B (zh) 2011-10-24 2012-10-24 形状检查方法及其装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011232468A JP5913903B2 (ja) 2011-10-24 2011-10-24 形状検査方法およびその装置
JP2011-232468 2011-10-24
JP2012-053956 2012-03-12
JP2012053956A JP2013186100A (ja) 2012-03-12 2012-03-12 形状検査方法およびその装置

Publications (1)

Publication Number Publication Date
WO2013061976A1 true WO2013061976A1 (ja) 2013-05-02

Family

ID=48167806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077386 WO2013061976A1 (ja) 2011-10-24 2012-10-24 形状検査方法およびその装置

Country Status (2)

Country Link
CN (1) CN104024793B (ja)
WO (1) WO2013061976A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017025503A (ja) * 2015-07-17 2017-02-02 清水建設株式会社 建設機器操作アシスト表示システム
CN106489061A (zh) * 2014-08-29 2017-03-08 日立汽车***株式会社 部件的制造方法和使用它的制造装置、体积测定方法
JP2019045510A (ja) * 2018-12-07 2019-03-22 株式会社キーエンス 検査装置
JP2019158767A (ja) * 2018-03-15 2019-09-19 東芝テック株式会社 測定装置
WO2021080498A1 (en) * 2019-10-23 2021-04-29 Winteria Ab Method and device for inspection of a geometry, the device comprising image capturing and shape scanning means
WO2023053238A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 形状検出装置、形状検出システム及び形状検出方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6704813B2 (ja) * 2016-08-05 2020-06-03 キヤノン株式会社 計測装置、露光装置、および物品の製造方法
CN108088407B (zh) * 2017-12-15 2020-11-10 成都光明光电股份有限公司 光学玻璃制品形貌偏差校正方法及***
CN109579733B (zh) * 2018-11-30 2020-12-18 广东省新材料研究所 一种激光3d打印成型尺寸精度快速测算方法
JP7257942B2 (ja) * 2019-11-29 2023-04-14 日立Astemo株式会社 表面検査装置および形状矯正装置、並びに表面検査方法および形状矯正方法
CN110986858A (zh) * 2019-11-30 2020-04-10 深圳市裕展精密科技有限公司 测量装置及测量方法
TWI817487B (zh) * 2021-05-13 2023-10-01 日商芝浦機械股份有限公司 檢測工具的形狀的裝置及檢測工具的形狀的方法
CN113334978B (zh) * 2021-07-07 2021-12-14 东莞市昂图智能科技有限公司 应用于cnc雕刻机的图像采集***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122706A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 形状診断装置、形状診断方法、及びプログラム
JP2005215917A (ja) * 2004-01-29 2005-08-11 Hitachi Plant Eng & Constr Co Ltd 施工図作成支援方法およびリプレースモデル作成方法
JP2007333462A (ja) * 2006-06-13 2007-12-27 Yokohama Rubber Co Ltd:The タイヤ型部材検査方法、タイヤ型部材検査装置、および型部材作製工程精度検査方法
JP2009058459A (ja) * 2007-09-03 2009-03-19 Nikon Corp 形状測定装置
JP2010160135A (ja) * 2008-12-09 2010-07-22 Toshiba Corp タービン発電機におけるステータコイルの接続組立の３次元形状測定方法及び３次元形状測定装置用冶具
JP2011175600A (ja) * 2010-02-25 2011-09-08 Canon Inc 認識装置及びその制御方法、コンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7286246B2 (en) * 2003-03-31 2007-10-23 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
US7787692B2 (en) * 2003-09-25 2010-08-31 Fujifilm Corporation Image processing apparatus, image processing method, shape diagnostic apparatus, shape diagnostic method and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122706A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 形状診断装置、形状診断方法、及びプログラム
JP2005215917A (ja) * 2004-01-29 2005-08-11 Hitachi Plant Eng & Constr Co Ltd 施工図作成支援方法およびリプレースモデル作成方法
JP2007333462A (ja) * 2006-06-13 2007-12-27 Yokohama Rubber Co Ltd:The タイヤ型部材検査方法、タイヤ型部材検査装置、および型部材作製工程精度検査方法
JP2009058459A (ja) * 2007-09-03 2009-03-19 Nikon Corp 形状測定装置
JP2010160135A (ja) * 2008-12-09 2010-07-22 Toshiba Corp タービン発電機におけるステータコイルの接続組立の３次元形状測定方法及び３次元形状測定装置用冶具
JP2011175600A (ja) * 2010-02-25 2011-09-08 Canon Inc 認識装置及びその制御方法、コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SZYMON RUSINKIEWICZ ET AL.: "Efficient Variants of the ICP Algorithm, 3-D Digital Imaging and Modeling 2001. proceedings.", THIRD INTERNATIONAL CONFERENCE, pages 145 - 152 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106489061A (zh) * 2014-08-29 2017-03-08 日立汽车***株式会社 部件的制造方法和使用它的制造装置、体积测定方法
JP2017025503A (ja) * 2015-07-17 2017-02-02 清水建設株式会社 建設機器操作アシスト表示システム
JP2019158767A (ja) * 2018-03-15 2019-09-19 東芝テック株式会社 測定装置
JP7073149B2 (ja) 2018-03-15 2022-05-23 東芝テック株式会社 測定装置
JP2019045510A (ja) * 2018-12-07 2019-03-22 株式会社キーエンス 検査装置
WO2021080498A1 (en) * 2019-10-23 2021-04-29 Winteria Ab Method and device for inspection of a geometry, the device comprising image capturing and shape scanning means
WO2023053238A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 形状検出装置、形状検出システム及び形状検出方法

Also Published As

Publication number Publication date
CN104024793B (zh) 2017-02-15
CN104024793A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
WO2013061976A1 (ja) 形状検査方法およびその装置
JP2013186100A (ja) 形状検査方法およびその装置
WO2011070927A1 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US9858659B2 (en) Pattern inspecting and measuring device and program
US8581162B2 (en) Weighting surface fit points based on focus peak uncertainty
JP5913903B2 (ja) 形状検査方法およびその装置
JP7037876B2 (ja) 自動工業検査における３ｄビジョンの使用
US9171364B2 (en) Wafer inspection using free-form care areas
WO2013015013A1 (ja) 外観検査方法及びその装置
WO2014136490A1 (ja) 形状検査方法およびその装置
US20150346115A1 (en) 3d optical metrology of internal surfaces
CN109716495B (zh) 用于晶片中开口尺寸的光学测量的方法和***
TWI836146B (zh) 多成像模式影像對準
US10579890B2 (en) Automatic alignment of a 3D model to a test object
JP5385703B2 (ja) 検査装置、検査方法および検査プログラム
EP3531688A2 (en) Range differentiators for auto-focusing in optical imaging systems
WO2019212042A1 (ja) ねじ形状の測定装置および測定方法
Zhang et al. Accuracy improvement in laser stripe extraction for large-scale triangulation scanning measurement system
JP7353757B2 (ja) アーチファクトを測定するための方法
Bergström et al. Virtual projective shape matching in targetless CAD-based close-range photogrammetry for efficient estimation of specific deviations
US11168976B2 (en) Measuring device for examining a specimen and method for determining a topographic map of a specimen
Lin et al. Real-time image-based defect inspection system of internal thread for nut
JP6040215B2 (ja) 検査方法
JP2020512536A (ja) モデルベースのピーク選択を使用した３ｄプロファイル決定のためのシステム及び方法
TW201809592A (zh) 自動化三維量測

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12844031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12844031

Country of ref document: EP

Kind code of ref document: A1