WO2018207720A1 - 特徴量を用いた３次元計測方法およびその装置 - Google Patents

特徴量を用いた３次元計測方法およびその装置 Download PDF

Info

Publication number
WO2018207720A1
WO2018207720A1 PCT/JP2018/017592 JP2018017592W WO2018207720A1 WO 2018207720 A1 WO2018207720 A1 WO 2018207720A1 JP 2018017592 W JP2018017592 W JP 2018017592W WO 2018207720 A1 WO2018207720 A1 WO 2018207720A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement
pattern
feature
relationship
spatial
Prior art date
Application number
PCT/JP2018/017592
Other languages
English (en)
French (fr)
Inventor
藤垣　元治
優一 赤塚
大嗣 高田
Original Assignee
国立大学法人福井大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人福井大学 filed Critical 国立大学法人福井大学
Priority to DE112018002357.5T priority Critical patent/DE112018002357T5/de
Priority to CN201880030908.3A priority patent/CN110612428B/zh
Priority to GB1917402.8A priority patent/GB2577013B/en
Priority to US16/612,102 priority patent/US11257232B2/en
Publication of WO2018207720A1 publication Critical patent/WO2018207720A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a three-dimensional measurement method using feature values and an apparatus using the method.
  • a lattice pattern is projected onto the surface of the measurement target object, and the lattice pattern projected onto the measurement target object surface from a direction different from the projection direction is used.
  • a method for performing phase analysis of a projection grating has been widely performed.
  • an object of the present invention is to solve the above-described problem, and to provide a three-dimensional measurement method and apparatus using three or more feature value sets.
  • One embodiment of the present invention includes a plurality of sets of three or more feature amounts, and each set of three or more feature amounts is set to each spatial coordinate and 1 in a measurement region or a partial region in the measurement region. Projecting a pattern or a change in the pattern onto a measurement object surface from a plurality of positions arranged to have a one-to-one correspondence; Photographing the pattern projected on the measurement object surface or a change in the pattern; Three or more feature quantities obtained based on the image obtained by photographing using the relationship between the set of three or more feature quantities obtained in advance using a reference object and the spatial coordinates Obtaining the spatial coordinates from a set of: It is the measurement method which calculates
  • the relationship between each set of three or more feature quantities and each spatial coordinate is tabulated, and when measuring each spatial coordinate on the surface of the measurement object, the value is referred to the table. Based on this, spatial coordinates of the surface of the measurement object are obtained. Further, in the above-described embodiment, a part of the relationship between each set of three or more feature quantities and each spatial coordinate is tabulated, and when measuring the spatial coordinates of the measurement target surface, the table is By interpolating using the referenced value, the spatial coordinates of the surface of the measurement object are obtained. In the above-described embodiment, the spatial coordinates of the surface of the measurement object for obtaining a plurality of feature amounts simultaneously by setting a plurality of wavelengths of light projected from the plurality of positions are obtained. In the one embodiment, the plurality of positions are obtained as spatial coordinates on the surface of the measurement object, which are arranged in a line.
  • the relationship between the set of three or more feature quantities and each spatial coordinate is a distance between the plurality of positions and the reference object from the plurality of positions to the surface of the reference object. And the pattern or the change of the pattern is projected at a plurality of intervals to obtain the relationship between the set of three or more feature quantities and the spatial coordinates.
  • each set of three or more feature amounts includes a plurality of sets of feature amounts, and each of the three or more feature amount sets includes one spatial coordinate and one in a measurement region or a partial region in the measurement region.
  • a pattern or a change of the pattern is projected at a plurality of intervals by changing the distance between the plurality of positions and the reference object from a plurality of positions arranged so as to have a one-to-one correspondence relationship to the reference object surface.
  • a relationship between a set of three or more feature values and the spatial coordinates is obtained.
  • a lattice pattern or a mark is fixed to the surface of the reference object.
  • a plurality of wavelengths of light projected from the plurality of positions are used.
  • the plurality of positions are arranged in a line.
  • One embodiment of the present invention includes a plurality of sets of three or more feature amounts, and each set of three or more feature amounts is set to each spatial coordinate and 1 in a measurement region or a partial region in the measurement region.
  • a projection unit that projects a pattern or a change of the pattern onto a measurement object surface from a plurality of positions arranged to have a one-to-one correspondence;
  • An imaging unit that photographs the pattern projected on the surface of the measurement object or a change in the pattern;
  • a storage unit for storing a relationship between each set of three or more feature values and each spatial coordinate; A set of three or more feature values obtained based on the image obtained by photographing using the relationship between the set of three or more feature values stored in the storage means and each spatial coordinate.
  • the spatial coordinate acquisition unit for obtaining the spatial coordinates It is a measuring device which calculates
  • the relationship between each set of three or more feature quantities and each spatial coordinate is tabulated and stored in the storage unit, and when measuring the spatial coordinates on the surface of the measurement object, the table is stored.
  • the spatial coordinates of the surface of the measurement object are obtained based on the referenced value.
  • a part of the relationship between each of the three or more feature value sets and the spatial coordinates is stored in the storage unit as a table, and when measuring the spatial coordinates of the surface of the measurement object, By interpolating using values referring to the table, the spatial coordinates of the surface of the measurement object are obtained.
  • a plurality of the feature quantities are obtained simultaneously by changing the wavelengths of light projected from a plurality of positions of the projection unit.
  • the plurality of positions are arranged in a line to obtain a space coordinate on the surface of the measurement object.
  • the relationship between each of the three or more feature amounts and each spatial coordinate is obtained by calculating a distance between the projection unit and the reference object from a plurality of positions of the projection unit to a reference object surface. It is a measuring apparatus that obtains a relationship between a set of three or more feature amounts and each spatial coordinate obtained by changing and projecting the pattern or a change in the pattern at a plurality of intervals.
  • each of the three or more feature quantities and each of the spatial coordinates uses another projection unit having the same configuration as the projection unit, and the reference object surface from the other projection unit.
  • a relationship between a set of three or more feature quantities and a spatial coordinate obtained by changing the distance between the other projection unit and the reference object and projecting the pattern or the change of the pattern at a plurality of intervals is obtained.
  • each set of three or more feature quantities includes a plurality of sets of feature quantities, and each of the three or more feature quantity sets is associated with each spatial coordinate in a measurement region or a partial region in the measurement region.
  • a projection unit that projects a pattern or a change in the pattern from a plurality of positions arranged to have a one-to-one correspondence;
  • a changing unit for changing the interval between the plurality of reference objects and the reference object;
  • An imaging unit that captures the pattern or the change of the pattern at a plurality of intervals by changing the distance between the plurality of projection units and the reference object;
  • the measurement apparatus obtains a relationship between a set of three or more feature amounts and the spatial coordinates based on an image captured by the imaging unit and distances between the plurality of projection units and the reference object.
  • the projection unit includes one projection unit, the imaging unit includes a plurality of cameras, and the plurality of cameras are provided in the projection unit.
  • the present invention can provide a three-dimensional measurement method and apparatus using a set of three or more feature quantities.
  • FIG. It is a figure explaining the structure of an apparatus. It is a figure explaining a mode when light source 5A lights. It is a figure explaining a mode when the light source 5B lights. It is a figure explaining the mode of a calibration (photographing of the lattice pattern fixed to the reference plane). It is a figure explaining the mode of a calibration (when projecting the lattice pattern 8A). It is a figure explaining the mode of a calibration (when projecting the lattice pattern 8B). It is a figure explaining distribution of feature-value (phi) A. It is a figure explaining distribution of feature-value (phi) B. It is a figure explaining a reference
  • FIG. 2 shows the configuration of the measuring apparatus according to the embodiment of the present invention.
  • a light source 5A and a lattice glass 4A, and a light source 5B and a lattice glass 4B are fixed to the lattice projection unit 3.
  • the lattice projection unit 3 is made of a material through which light from a light source is transmitted or is made of a hollow material. Since the light source 5A, the light source 5B, the lattice glass 4A, and the lattice glass 4B are fixed to the lattice projection unit 3, the relative positional relationship among the light source 5A, the light source 5B, the lattice glass 4A, and the lattice glass 4B does not change.
  • a set of the light source 5A and the lattice glass 4A functions as a projector.
  • the set of the light source 5B and the lattice glass 4B functions as a projector.
  • FIG. 3 when the light source 5A is turned on, the lattice pattern 8A attached to the lattice glass 4A is projected onto the reference plane 7 and the object 6 (measurement object).
  • FIG. 4 when the light source 5B is turned on, the lattice pattern 8B attached to the lattice glass 4B is projected onto the reference plane 7 and the object 6 (measurement object).
  • the reference plane 7 is mounted on a stage (not shown), and can be translated by an arbitrary amount in the normal direction of the reference plane 7 by moving the stage up and down. Further, it is assumed that a lattice pattern (or a mark such as a scale) representing the x coordinate is fixed on the surface of the reference surface 7. As described in Patent Document 2, it is also possible to use a display or the like for the reference surface 7. Further, as described in Patent Document 3, a curved reference surface 7 can be used.
  • the position of the grid projection unit 3 and the arrangement of the camera 1 and the reference plane 7 are determined and set for calibration.
  • the camera 1 is a camera for taking an image for calibration.
  • the camera 1 can also be used for measuring the object 6.
  • the reference plane 7 R 0, R 1,. . . Position of R N moves in, at each position, if the x-coordinate (three-dimensional, which is fixed to the reference plane 7 (x, y) coordinates ) Marks such as lattice patterns and scales that represent). From the image photographed here, the x coordinate ((x, y) coordinate in the case of three dimensions) can be obtained for each pixel photographed by the camera 1.
  • the light source 5 ⁇ / b> A is turned on to project the lattice pattern 8 ⁇ / b> A attached to the lattice glass 4 ⁇ / b> A onto the reference plane 7 and photograph it with the camera 1.
  • a lattice pattern 8 ⁇ / b> B attached to the lattice glass 4 ⁇ / b> B is projected onto the reference plane 7, and is photographed by the camera 1.
  • the phase shift of the projection grating is performed by switching the lighting position of the light source, and the phase distribution can be obtained therefrom.
  • phase connection processing By performing phase connection processing from the obtained phase distribution, a continuous distribution of phase values ⁇ A and ⁇ B can be obtained.
  • the continuous phase values ⁇ A and ⁇ B are feature quantities obtained by the lattice pattern 8A and the lattice pattern 8B.
  • the distribution of the feature quantity A ( ⁇ A ) and the feature quantity B ( ⁇ B ) can be obtained by the grid pattern 8A and the grid pattern 8B.
  • This distribution can be acquired as a discrete distribution for each pixel for each position of the reference plane 7 based on the image obtained by photographing the reference plane 7 with the camera 1 as described above.
  • the phase changes by 2 ⁇ for each period of the lattice pattern, and thus the obtained phase value is repeated every 2 ⁇ .
  • the phase connection is performed using information on the spatial phase change. It is possible to perform phase connection according to the information of the combination by performing the above and by providing a plurality of projection grating pitches. By doing so, it is possible to obtain a continuous phase value (phase value connected in phase) by eliminating the repetition every 2 ⁇ with respect to the projection grating.
  • a sampling moire method a phase shift method, and other phase analysis methods.
  • a set of feature values ( ⁇ A , ⁇ B ) and coordinates (x, y) are obtained at the position of the reference acquisition point shown in FIG.
  • the reference acquisition point is schematically written at a skipped position.
  • reference acquisition points are obtained by the number of pixels of the camera 1 in the x direction and further by an interval of moving the reference plane 7 in the z direction. The standard acquisition points will be obtained closely.
  • the distribution of feature quantities can be created in the same manner. Even when a light cutting method that scans slit light is used, an amount of scanning slit light (for example, an emission angle of slit light) can be used as a feature amount.
  • a method for obtaining a feature amount from a pattern projected from a projection unit not only a method for obtaining a feature amount from a pattern projected from a projection unit, but also a method for obtaining a feature amount by changing a plurality of patterns, such as a phase shift method or a gray code method, and the above-described optical cutting method.
  • Any technique can be applied to the present technique as long as the feature amount can be obtained by changing the pattern.
  • the phase shift method the obtained phase value is used as the feature amount
  • the gray code value for dividing the space may be used as the feature amount.
  • the polarization direction may be used as a feature amount.
  • Feature Quantity-Coordinate Table A procedure for creating a feature quantity-coordinate table for obtaining coordinates (x, z) from a set ( ⁇ A , ⁇ B ) of feature quantity A and feature quantity B will be described below.
  • the reference acquisition points acquired as a discrete distribution for each pixel are projected onto the feature amount space for each position of the reference plane 7 by the above-described calibration method.
  • the feature amount space is a space having the feature amount A and the feature amount B as coordinate axes. Since each set of feature values ( ⁇ A , ⁇ B ) and coordinates (x, z) is obtained for each reference acquisition point, it can be projected into the feature amount space, and each projected reference acquisition point The coordinates (x, z) are obtained at.
  • each table element is a three-dimensional spatial coordinate.
  • the lattice pattern 8A and the lattice pattern 8B attached to the lattice glass 4A and the lattice glass 4B are projected onto the object surface. Is done.
  • FIGS. 12 and 13 In this case, as in the case of the reference plane 7 shooting, the distribution of the feature amount A ( ⁇ A) and the feature B ( ⁇ B) is projected onto the object surface, respectively Can be considered.
  • the spatial coordinates (x P , z P ) of the point P can also be calculated by interpolation.
  • FIG. 15 is a diagram for explaining a method of obtaining three phase values at each point (each position) in the measurement target space according to the present invention.
  • three projectors PA, PB, and PC are arranged at different positions, and the orientation of the grid to be projected is adjusted, so that three projectors are measured for each point (each position) in the measurement target space. It has a continuous phase value (corresponding to the “feature value” in the above description). Further, even if two of the three projectors are arranged at the same position, it is only necessary that the direction or pitch of the projected grid is different. In short, the three phase values and the three-dimensional coordinates have a one-to-one correspondence with the measurement region and the partial measurement region, depending on the combination of the arrangement of the three projectors, the orientation of the grid to be projected, the pitch, and the like.
  • the relationship between the three phase values and the three-dimensional coordinate values is tabulated, so that the three-dimensional coordinate values can be obtained instantaneously, and the coordinates can be obtained accurately without any systematic error.
  • a three-dimensional coordinate value is obtained regardless of the position of the camera 12.
  • the position of the camera or the lens may change, and zooming and focusing can be performed.
  • a three-dimensional measuring device that can magnify and shoot a measurement object using zoom or autofocus after mounting the measuring device is unprecedented, and can be expected to have an innovative and wide range of application.
  • Each light source provided in the projectors PA, PB, and PC operates according to a control program installed in the computer 30.
  • the camera 12 captures a lattice pattern image projected on the object 6 and sends the captured image information to the computer 30.
  • the computer 30 obtains the three-dimensional coordinate value of each point on the surface of the object 6 using a table in which the three phase values (features) stored in the storage unit 31 are associated with the three-dimensional coordinate values. Then, using the obtained three-dimensional coordinate value, it can be displayed as a three-dimensional image on a display screen of a display device (not shown) provided in the computer 30.
  • the computer 30 is used to operate a program for acquiring the table data, and the table data indicating the relationship between the feature amount and the three-dimensional coordinate value is obtained. get.
  • These programs may be stored in the storage medium 32, or the computer 30 may be operated on the cloud via a communication line such as the Internet (not shown).
  • the arithmetic processing or the storage processing performed by the computer 30, the storage means 31, or the storage medium 32 is performed by operating a part of them through a communication line such as the Internet and a processing device such as another computer (not shown). Also good.
  • a mobile robot 14 having wheels as traveling means includes cameras 12 and 13 on the top and bottom, and lattice projection units 15A and 15B capable of lattice projection in two directions, the vertical direction and the horizontal direction.
  • the measurement method according to the present invention is not limited to the lattice projection method, but can be applied to a spatial encoding method and a light cutting method.
  • the spatial coding method projectors are installed in three directions, and a space is divided by projecting a binary pattern multiple times. Since three codes obtained by each projector are obtained, the correspondence between the three codes and the space coordinates may be created.
  • the light cutting method prepare three slit light sources such as lasers. Since three movement amounts of the slit light are obtained for each light source, a correspondence relationship between the values representing the three movement amounts and the spatial coordinates may be created.
  • FIG. 17 is a diagram showing a feature quantity-coordinate table created by setting the number of projectors to 3 or more and obtaining 3 or more feature quantities, and a procedure for reading coordinates using the feature quantity-coordinate table.
  • the point obtained feature amount set in P ( ⁇ A, P, ⁇ B, P, ⁇ C, P) as the spatial coordinates from the point P, the characteristic quantity of the set (X ' P , y' P , z ' P ) is calculated from the nearest table element, or is interpolated based on data stored in multiple table elements in the vicinity of the feature value set (x P , y P , z P ).
  • FIG. 18 shows the procedure.
  • FIG. 18 shows graph A, graph B, and graph X from the top, the feature amount A ( ⁇ A ) and the feature amount B ( ⁇ B ) for the pixel number (i coordinate) in the horizontal direction of the image taken by the camera 1, respectively. ), And the x-coordinate distribution obtained from the reference plane 7.
  • both the graph A and the graph B have the same z value from the set of feature values ( ⁇ A, P , ⁇ B, P ) obtained at the point P on the object. Search for i-coordinate or i-coordinate that is close to z.
  • the point P is one point on the object, there must be a point in the graph A and the graph B where the i coordinate is the same and the z coordinate is also the same.
  • the positions where the reference plane 7 is installed are discrete, it is not always possible to find the same point. In that case, if the interval at which the reference plane 7 is set is small, such a point can be found approximately, or a point that becomes such can be calculated by interpolation.
  • FIG. 18 shows a case where such a point on the reference plane 7 can be searched.
  • the number of the reference plane 7 obtained by searching in this way and its z coordinate and i coordinate are remembered.
  • the number of the reference plane 7 is 2
  • the z coordinate is z 2
  • the i coordinate is i P.
  • the value of the x coordinate x P can be read from the number 2 and the i coordinate i P of the reference plane 7. Since the z coordinate is z 2 , (x P , z P ) is obtained by this procedure.
  • the method for obtaining coordinates by this search can also be extended to three dimensions.
  • the horizontal axis is the i coordinate
  • the graph A, the graph B, and the graph X are the feature amounts for the i coordinate.
  • the feature quantity A ( ⁇ A ), feature quantity B ( ⁇ B ), feature quantity C ( ⁇ C ) and the coordinate (i, j) of the pixel of the camera 1 Create a graph with x and y coordinates. In this way, the three-dimensional coordinates (x P , y P , z P ) can be obtained by the same procedure.
  • the camera 2 that performs three-dimensional measurement of an object can perform three-dimensional measurement without performing any calibration. That is, the position of the camera 2 may be moved, and focus adjustment and zoom adjustment of the imaging lens may be performed. In addition, a temperature change may occur due to factors such as heat generation inside the camera, which may cause deformation inside the camera and cause a slight change in the shooting position, but this is not affected.
  • the amount of deflection inside the lens and the camera changes slightly depending on the direction of gravity with respect to the camera, but this is not affected.
  • an imaging lens has movable parts such as a focus adjustment mechanism and a zoom mechanism, there is a slight wobble or shakiness, and the lens is slightly deformed due to vibration or the direction of gravity.
  • the conventional three-dimensional measurement apparatus has a decrease in measurement accuracy, but the measurement method according to the present invention has no effect.
  • the method for obtaining the spatial coordinates based on the correspondence relationship between the plurality of feature amounts and the spatial coordinates described above is called a “feature type total space measurement method”, and the correspondence relationship is tabulated.
  • the method for obtaining the spatial coordinates is referred to as a “feature type full space table creation method”.
  • FIG. 19 shows a form in which a lattice projection unit that projects a vertical lattice is attached to the left and right, and a lattice projection unit that projects a horizontal lattice is attached to the center. In this way, a plurality of feature value sets can be made unique within a measurement region or a partial region thereof.
  • the lattice glasses 4A and 4B are attached to the left and right of the lattice projection unit 3, and the lattice glass 4C is attached to the center.
  • Light source 5A, 5B, 5C is provided in the lattice projection unit 3 so as to correspond to each lattice glass 4A, 4B, 4C. It is desirable to arrange the lattice glasses 4A, 4B, and 4C so that all the lattice directions are different.
  • FIG. 20 shows a form in which a camera is incorporated in the apparatus.
  • the camera used for calibration and the camera used for measurement may be the same or different.
  • the entire apparatus can be reduced in size.
  • a zoom lens for the camera incorporated inside. Incorporating multiple cameras, one using a wide-angle lens and a camera capable of measuring a wide range, and the other camera using a zoom lens to perform partial three-dimensional measurement in detail Will be able to. In addition, by attaching a pan / tilt mechanism to the camera, it is possible to capture a further necessary area in detail, and to create a three-dimensional measuring apparatus. In the embodiment of FIG. 20, a camera 16 with a zoom lens and a camera 17 are incorporated.
  • FIG. 21 shows an arbitrary angle given to the grid to be projected.
  • the lattice glasses 4A, 4B, and 4C are attached to the lattice projection unit 3.
  • a three-dimensional measurement is possible as long as a set of a plurality of feature amounts is unique within a measurement region or a partial region thereof. It can be performed. Further, even if the arrangement is such that a plurality of feature value sets are unique in the partial area of the measurement area, it is only necessary to have a means for identifying which partial area.
  • a set of feature quantities is uniquely determined for each of the left and right partial areas of the measurement area, it is only necessary to separately provide a means for clearly identifying the left or right side of the measurement area. The same applies even if there are many partial areas.
  • a phase distribution that is not phase-connected a phase distribution that repeats 2 ⁇
  • FIG. 22 shows the projection part of the lattice having four lattice glasses 4A, 4B, 4C and 4D. Even if there are four or more grid patterns to be projected, three-dimensional measurement can be performed as long as a set of a plurality of feature amounts is unique within the measurement region or its partial region.
  • FIG. 23 shows an example in which a plurality of cameras 18, 19, and 20 are incorporated, as in the lattice glasses 4 ⁇ / b> A, 4 ⁇ / b> B, and 4 ⁇ / b> C.
  • each of the cameras can have different functions such as wide-angle shooting, zoom shooting, in-focus position, and pan / tilt mechanism.
  • a measurement result with reduced noise can be obtained.
  • the spatial coordinates can be obtained from the one-shot image.
  • three-dimensional measurement can be performed even in a shaking state.
  • three-dimensional measurement can be performed with high accuracy even while being held by hand.
  • a grating projection unit that can project a two-way grating pattern, such as a liquid crystal projector, can be used. In this case, two feature quantities can be obtained by one projection unit. Therefore, when such a projection unit is used, at least two lattice projection units are required to obtain three-dimensional spatial coordinates.
  • a three-dimensional coordinate value can be obtained instantaneously, and coordinates can be obtained with high accuracy without any systematic error.
  • a three-dimensional coordinate value can be obtained regardless of the position of the camera. That is, the position of the camera or lens may be changed, and zooming or focusing can be performed. Even if there are multiple cameras, there is no need to increase the table. (3) Even under vibration, it is only necessary to take measures against vibration by strengthening only the lattice projection portion.
  • FIG. 24 shows an arrangement of two projectors, a reference plane 7, a measurement target object, a camera 1 that is a table creation camera 1, and a camera 2 that is a measurement camera.
  • the light source 5A and the lattice glass 4A, and the light source 5B and the lattice glass 4B are fixed to the lattice projection unit 3.
  • the light source 5A and the lattice glass 4A function as a projector.
  • lattice B can each be projected on the reference plane 7 and a measurement object.
  • the camera 1 is fixed in the lattice projection unit 3.
  • the lattice projection unit 3 is attached to a linear stage, and can be translated by an arbitrary amount in the normal direction of the reference plane 7.
  • a liquid crystal monitor 10 having a light diffusion plate attached to the surface thereof was used as the reference surface 7.
  • the x coordinate value on the reference plane 7 can be known for each photographing pixel.
  • the x coordinate value by projecting the grid A and the grid B, the x coordinate value.
  • the z coordinate value, the phase value ⁇ A of the grating A, and the phase value ⁇ B of the grating B can be obtained.
  • the sampling moire method is used, and the phase connection process is performed on the obtained phase distribution to thereby obtain the phase value ⁇ A of the grating pattern 8A and the phase value ⁇ of the grating pattern 8B in each pixel.
  • B was sought.
  • the phase shift method was used for the phase analysis of the grating in the x direction displayed on the reference plane 7.
  • the positions R 0 , R 1 ,. . . R N indicates a relative position from the lattice projection unit 3.
  • a white flat plate 11 was used as a measurement target object, and the measurement target object was installed with an inclination of 30 degrees with respect to the x axis.
  • the white flat plate 11 is marked with two marks at intervals of 40 mm, and the points with these marks are P 1 and P 2 .
  • the lattice pattern 8A is projected onto the object and photographed by the camera 2.
  • Obtaining a phase distribution at a sampling moire method from the obtained image further by performing phase unwrapping, obtains a phase value phi A at the point P 1 and point P 2, P1 and grid pattern 8B phase value phi B, P1, respectively .
  • the phase value ⁇ A, P2 at the points P 1 and P 2 and the phase value ⁇ B, P2 of the lattice pattern 8B are obtained by projecting the lattice pattern 8B onto the object.
  • phase values ⁇ A, P1 and ⁇ B, P1 at the point P 1 were ⁇ 31.49 rad and ⁇ 35.44 rad, respectively.
  • the phase values ⁇ A, P2 and ⁇ B, P2 at the point P 2 were ⁇ 47.66 rad and ⁇ 53.64 rad, respectively.
  • these feature amounts based on obtaining the (x, z) coordinates it is at the point P 1 becomes (61.0 mm, 50.0 mm), is at the point P 2 (96.1 mm, 30.0 mm ).
  • the distance between these two points was obtained from the obtained coordinate values, it was 40.4 mm, indicating that the distance between the two points was obtained.
  • a technique for obtaining coordinates by searching without creating the feature amount-coordinate table described with reference to FIG. 18 was used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

複数の投影部から投影されたパターンまたは前記パターンの変化の少なくとも一方により得られた複数個の特徴量と空間座標との関係を予め求め、前記特徴量と前記空間座標の前記関係を用いて、計測対象物表面に前記複数の投影部から投影されたパターンまたは前記パターンの変化から得られた特徴量から前記対象物表面の空間座標を求める。

Description

特徴量を用いた３次元計測方法およびその装置
　本発明は、特徴量を用いた３次元計測方法およびその方法を用いる装置に関する。
　カメラを用いた３次元形状計測は、1980年代から多くの研究が国内外で行われてきた。
ロボットビジョンの分野においては、カメラのキャリブレーションが不要な方法も提案されている。多数の方向から撮影された画像から３次元形状を復元する方法も提案されているが、像上の境界部等の特徴点の対応付けを行うため、滑らかな面の形状計測ができず、また解析に時間を要する。
　近年、ロボットアームによる原子炉内部の除染活動や移動ロボットなど、障害物や突起物などの位置や形状をリアルタイムに精度よく検知・計測する方法が求められている。また、災害救助ロボットにおいては、生存者保護のため、精度よく人体と障害物の位置関係を計測する必要がある。
　しかし悪路による振動も多く、従来のステレオ方式では、カメラの位置関係がずれることで計測精度が低下する。キャリブレーション後は光学系の固定が必須のため、ズームやピント調整ができないことが、従来の常識であった。
　平面や曲面状であっても３次元形状を精度良く計測する方法として、格子パターンを計測対象物体の表面に投影し、投影方向とは異なる方向から前記計測対象物体表面に投影された格子パターンを撮影した画像を用いて３次元計測を行うために、投影格子の位相解析を行う方法の研究が広く行われてきた。
　国内では、武田らがフーリエ変換を用いた位相解析手法を提案しており、吉澤らが実用的な３次元計測装置を開発している。海外では、米国のSong ZhangらがDMD（Digital Micro-mirror Device）を用いた超高速度３次元計測の研究を精力的に進めている。最近の動向としては、３次元形状計測の高速化に注目が集まっている。しかし、屋外や振動の多い環境での前記３次元計測装置の使用はほとんど考えられていない。
　また、計測精度を高めるためのキャリブレーション方法についての研究は少なく、とくに系統的誤差が全く入らない３次元計測手法は、国内外ともに提案者以外からは提案されていない。さらに、投影部だけキャリブレーションすることで３次元計測が可能という研究は、国内外ともに見あたらない。
　発明者等は、これまでに図１に示す系統誤差が入らない「全空間テーブル化手法（特許文献１を参照）」を提案し、基礎技術の開発と多くの応用研究をしてきた。格子投影手法では、投影格子の位相と３次元座標に1対1の対応関係ができる。その関係を利用してカメラの画素ごとに位相値と３次元座標のテーブルを作ることによりレンズ歪曲収差などの系統誤差は全く入らず、ゆがみなく精度がよい３次元計測が可能となる。
特開２００８－２８１４９１号公報 特開２００１－１０８４２２号公報 特開２０１７－４０４８２号公報 特開２０１２－１８９４７９号公報
　しかし、特許文献１に開示されている方法を含め、従来の３次元計測方法においては、カメラとプロジェクターを全て一体化した状態でキャリブレーションを行うことが必須であった。そのため、カメラを含めた３次元計測ユニットとして固定する必要があり、装置のサイズが大きくなるため、ロボットハンドや移動ロボット、自動搬送車などに取り付けにくいものになっていた。また、撮影レンズのピント調整や画角の調整をするとキャリブレーションをやり直すことになり、メンテナンスも難しいという問題があった。
　そこで、本発明の目的は、上記問題を解決するものであり、３つ以上の特徴量の組を用いた３次元計測方法およびその装置を提供することである。
　本発明の一実施態様は、３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影するステップと、
前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影するステップと、
基準物体を用いて予め求められた前記各３つ以上の特徴量の組と前記空間座標との関係を用いて、前記撮影して得られた画像を基に得られた３つ以上の特徴量の組から、前記空間座標を求めるステップと、
を含む前記計測対象物表面の空間座標を求める計測方法である。
　上記一実施態様において、前記各３つ以上の特徴量の組と前記各空間座標との関係をテーブル化しておき、前記計測対象物表面の各空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める。
　また、上記一実施態様において、前記各３つ以上の特徴量の組と前記各空間座標との関係の一部をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める。
　上記一実施態様において、前記複数の位置から投影される光の波長を複数にすることで同時に複数の特徴量を得る、前記計測対象物表面の空間座標を求める。
　上記一実施態様において、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める。
　本発明の一実施態様において、前記３つ以上の特徴量の組と前記各空間座標との関係は、前記複数の位置から前記基準物体の表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して、３つ以上の特徴量の組と空間座標との関係を求める。
　本発明の一実施態様において、３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から基準物体表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔でパターンまたは前記パターンの変化を投影して、３つ以上の特徴量の組と前記空間座標との関係を求める。
　上記の一実施態様において、前記基準物体表面に格子パターンあるいはマークを固定する。
　上記一実施態様において、前記複数の位置から投影される光の波長を複数用いる。
　上記一実施態様において、前記複数の位置は、一列に並んで配置されている。
　本発明の一実施態様は、３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影する投影部と、
前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影する撮像部と、
前記各３つ以上の特徴量の組と前記各空間座標との関係を記憶する記憶部と、
前記記憶手段に記憶された前記３つ以上の特徴量の組と前記各空間座標との関係を用いて、前記撮影して得られた画像を基に得られた３つ以上の特徴量の組から、前記空間座標を求める空間座標取得部と、
を備えた前記計測対象物表面の空間座標を求める計測装置である。
　上記一実施態様において、前記各３つ以上の特徴量の組と前記各空間座標との関係はテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める。
　上記一実施態様において、前記各３つ以上の特徴量の組と前記空間座標との関係の一部がテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める。
　上記一実施態様において、前記投影部の複数の位置から投影される光の波長を異なったものとすることで同時に複数の前記特徴量を得る。
　上記一実施形態において、前記複数の位置は、一列に並んで配置されて、前記計測対象物表面の空間座標を求める。
　本発明の一実施態様において、前記各３つ以上の特徴量と前記各空間座標との関係は、前記投影部の複数の位置から基準物体表面に、前記投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、３つ以上の特徴量の組と各空間座標との関係を求める計測装置である。
　本発明の一実施態様において、前記各３つ以上の特徴量と前記各空間座標との関係は、前記投影部と同じ構成を有する他の投影部を用い、前記他の投影部から基準物体表面に、前記他の投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、３つ以上の特徴量の組と空間座標との関係を求める。
　本発明の一実施態様では、３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置からパターンまたは前記パターンの変化を投影する投影部と、
前記複数個と基準物体との間隔を変更する変更部と、
前記複数個の投影部と前記基準物体との距離を変更して複数の間隔で、前記パターンまたは前記パターンの変化を撮影する撮像部と、
前記撮像部により撮像された画像と、前記複数の投影部と前記基準物体との距離を基に、３つ以上の特徴量の組と前記空間座標との関係を求める計測装置である。
　上記一実施態様において、前記基準物体表面に格子パターンあるいはマークを固定する、３つ以上の特徴量の組と空間座標との関係を求める。
　上記一実施態様において、前記複数の位置は、一列に並んで配置されていることを特徴とする、３つ以上の特徴量の組と前記空間座標との関係を求める。
　上記一実施態様において、前記投影部は一つの投影ユニットからなり、前記撮像部は複数個のカメラからなり、前記複数個のカメラは前記投影ユニットに設けられている。
　本発明により、３つ以上の特徴量の組を用いた３次元計測方法およびその装置を提供できる。
特許文献１に開示される全空間テーブル化手法を説明する図である。 装置の構成を説明する図である。 光源５Ａが点灯したときの様子を説明する図である。 光源５Ｂが点灯したときの様子を説明する図である。 キャリブレーションの様子（基準面に固定された格子パターンの撮影）を説明する図である。 キャリブレーションの様子（格子パターン８Ａを投影する場合）を説明する図である。 キャリブレーションの様子（格子パターン８Ｂを投影する場合）を説明する図である。 特徴量φAの分布を説明する図である。 特徴量φBの分布を説明する図である。 基準取得点を説明する図である。 特徴量－座標テーブル作成の手順を説明する図である。 物体上への特徴量Ａの投影を説明する図である。 物体上への特徴量Ｂの投影を説明する図である。 特徴量－座標テーブルから座標を読み取る手順を説明する図である。 本発明に係る、計測対象空間内の各点（各位置）に３個の位相値を取得する方法を説明する図である。 移動ロボットに本発明の実施形態の計測装置を搭載した例を説明する図である。 特徴量－座標テーブルから３次元座標を読み取る手順を説明する図である。 探索により座標を求める手順を説明する図である。 装置の構成例を説明する図である。 装置の構成例を説明する図である。 装置の構成例を説明する図である。 装置の構成例を説明する図である。 装置の構成例を説明する図である。 実験装置の構成を説明する図である。 物体の計測例を説明する図である。
　以下、本発明の実施形態を図面と共に説明する。
１．計測原理の説明
１．１　キャリブレーション
　まず、本発明に係る計測原理について説明する。ここでは、説明を簡単にするため、２個の特徴量を用いて２次元の座標(x, z)を求めるとして説明する。実際は３次元空間の空間座標(x, y, z)を求めるために、３次元に拡張する必要があるが、下記に述べるプロジェクターの数を３個以上とし、そこから得られる特徴量を３個以上にすることで、３次元の空間座標を２次元と同様の方法で求めることができる。
　本発明に係る実施形態の計測装置の構成を図２に示す。格子投影ユニット３には、光源５Ａと格子ガラス４Ａ、光源５Ｂと格子ガラス４Ｂが固定されている。格子投影ユニット３は光源からの光が透過する材質のものであるか、中空のもので構成されている。光源５Ａ、光源５Ｂ、格子ガラス４Ａ、および格子ガラス４Ｂが格子投影ユニット３に固定されているので、光源５Ａ，光源５Ｂ，格子ガラス４Ａ，格子ガラス４Ｂの相対的な位置関係が変化しないか、相対的な位置関係が変化しても計測に与える影響が無視できる程度である。光源５Ａと格子ガラス４Ａの組は、プロジェクターとして機能する。同様に、光源５Ｂと格子ガラス４Ｂの組は、プロジェクターとして機能する。
　図３に示すように、光源５Ａが点灯すると、格子ガラス４Ａに取り付けられている格子パターン８Ａが、基準面７や物体６（計測対象物）に投影される。
　図４に示すように、光源５Ｂと格子ガラス４Ｂについても同様に，光源５Ｂが点灯すると格子ガラス４Ｂに取り付けられている格子パターン８Ｂが基準面７や物体６（計測対象物）に投影される。
　基準面７は図示しないステージの上に取り付けられており、ステージを上下動することにより、基準面７の法線方向に任意の量だけ平行移動させることができる。また、基準面７表面には、x座標を表す格子パターン（もしくは目盛り等のマーク）が固定されているものとする。特許文献２に記載されるように、基準面７にディスプレイ等を用いることも可能である。また、特許文献３に記載されるように、曲面状の基準面７を用いることもできる。
　まず、キャリブレーションを行うために、図５に示すように、格子投影ユニット３の位置とカメラ１、基準面７の配置を決めて設置する。カメラ１は、キャリブレーションを行うために画像を撮影するためのカメラである。なお、このカメラ１は物体６の計測にも使うことができる。
　図５に示すように、基準面７をR0，R1，．．．RNの位置（それぞれz = z0，z1，．．．zN）に移動し、各位置において、基準面７に固定されているx座標（３次元の場合は(x, y)座標）を表す格子パターンや目盛り等のマークを撮影する。ここで撮影された画像から、カメラ１で撮影された画素ごとに、x座標（３次元の場合は(x, y)座標）を得ることができる。
　次に、図６に示すように光源５Ａを点灯させることで、格子ガラス４Ａに取り付けられている格子パターン８Ａを基準面７に投影し、それをカメラ１で撮影する。さらに図７に示すように光源５Ｂを点灯させることで格子ガラス４Ｂに取り付けられている格子パターン８Ｂを基準面７に投影し、それをカメラ１で撮影する。このとき、特許文献４に示すように、光源の点灯位置を切り替えることで投影格子の位相シフトを行い、そこから位相分布を求めることができる。
　得られた位相分布から位相接続の処理を行うことで、連続化された位相値φAおよびφBの分布が得られる。連続化された位相値φAおよびφBは，格子パターン８Ａおよび格子パターン８Ｂによって得られる特徴量である。このようにして、図８および図９に模式的に示すように、格子パターン８Ａおよび格子パターン８Ｂによって、特徴量Ａ（φA）および特徴量Ｂ（φB）の分布を得ることができる。この分布は、上述のようにカメラ１で基準面７を撮影した画像を元にして、基準面７の位置ごとに、画素ごとの離散的な分布として取得することができる。なお、格子投影法の場合は、格子パターンの１周期ごとに位相が２πだけ変化するため、得られる位相値は２πごとの繰り返しとなるが、空間的な位相の変化の情報を用いて位相接続を行うことや、投影格子のピッチを複数個にすることで、その組み合わせの情報によって位相接続を行うことが可能である。そのようにすることで、投影格子に対して２πごとの繰り返しが解消されて連続化された位相値（位相接続された位相値）を得ることができる。これは、サンプリングモアレ法や位相シフト法、その他の位相解析手法を用いる場合も同様である。
　以上の手順を行うことで、図１０に示す基準取得点の位置において、特徴量の組（φA, φB）および座標(x, y)がそれぞれ得られることになる。図１０では基準取得点は模式的に飛び飛びの位置に書かれている。実際には、x方向にはカメラ１の画素数分だけ、さらに、z方向には基準面７を移動する間隔分だけ基準取得点が得られることになるため、実際には図１０で示すよりも密に基準取得点が得られることになる。
　また、ここで示した格子投影機構の代わりに液晶プロジェクターやDMD（デジタルマイクロミラーデバイス）を用いたプロジェクターを用いることによっても同様に空間内に特徴量の分布を作ることができる。また、スリット光をスキャンするような光切断法を用いる場合でも、スリット光をスキャンする量（例えばスリット光の出射角度など）を特徴量として用いることができる。
　このように，投影部から投影されるパターンから特徴量を得る方法だけでなく、位相シフト法やグレーコード法のように複数のパターンを変化させることで特徴量を得る方法、上述の光切断法などのようにパターンの変化によって特徴量が得られる手法であれば、本手法に適用することができる。位相シフト法の場合は得られる位相値を特徴量とし、グレーコード法の場合は、空間を分割するグレイコード値を特徴量とすればよい。また，偏光を利用する手法では、その偏光方向を特徴量とすればよい。
１．２　特徴量－座標テーブルの作成
　次に特徴量Ａと特徴量Ｂの組（φA, φB）から座標(x, z)を求める特徴量－座標テーブルを作成する手順を示す。図１１に示すように、まず前述のキャリブレーション手法によって、基準面７の位置ごとに、画素ごとの離散的な分布として取得された基準取得点を特徴量空間に射影する。ここで、特徴量空間は、特徴量Ａと特徴量Ｂを座標軸とする空間である。基準取得点ごとにその点における特徴量の組（φA, φB）と座標(x, z)が得られているため、特徴量空間へ射影することができ、射影された基準取得点ごとに座標(x, z)が得られている状態となる。
　次に、特徴量Ａと特徴量Ｂを離散化した点について考える。図１１では、等間隔に離散化した場合を示している。この格子点をテーブル要素として、その近傍にある複数の基準取得点が持つ座標（x, z）の値を元にして、その要素の座標値を補間して求める。このようにすることで、特徴量Ａと特徴量Ｂに関する特徴量－座標テーブルの各要素の値（各テーブル要素に格納するデータ）を求めることができる。このとき、特徴量空間において、基準取得点が近傍にあることで有意な補間を行うことができるため、基準取得点がある程度密集している領域を計測領域とする。
　なお、実際は３次元空間の空間座標（x, y, z）を求めるために、３次元に拡張する必要があるが、プロジェクターの数を３個以上とし、そこから得られる特徴量を３個以上にすることで、特徴量－座標テーブルを同様に作成することができる。各テーブル要素は３次元の空間座標となる。
１．３　計測対象物体の３次元座標の取得
　次に、物体６（計測対象物）表面上の点の座標（x, z）を計測する手順を示す。まず、カメラ２を計測対象物体が撮影できる位置に設置する。このとき、カメラ１と基準面７は不要であるので、除去してもよい。
　前述の図３と図４の説明で述べたように、光源５Ａおよび光源５Ｂを点灯することで、格子ガラス４Ａおよび格子ガラス４Ｂに取り付けられている格子パターン８Ａおよび格子パターン８Ｂが物体表面に投影される。この場合も図１２と図１３に示すように、基準面７撮影の場合と同様に、特徴量Ａ（φA）および特徴量Ｂ（φB）の分布がそれぞれ物体表面上に投影されていると考えることができる。
　カメラ２のある１画素が撮影する物体上の点Ｐについて考える。点Ｐには特定の特徴量Ａ（φA, P）および特徴量Ｂ（φB, P）が投影されていることになり、特徴量の組（φA, P, φB, P）がカメラ２の該当する１画素で得られることになる。カメラ２で撮影される他の画素においても、同様にそれぞれの画素に対応する特徴量の組が得られることになる。
　次に、点Ｐにおいて得られた特徴量の組（φA, P, φB, P）から、点Ｐの空間座標（xP, zP）を求める手順を示す。前述のように、あらかじめ作成しておいた図１１に示す特徴量－座標テーブルを用いて、図１４に示すように、特徴量の組（φA, P, φB, P）に最も近いテーブル要素T3（φ'A, P, φ'B, P）に格納されているデータを読み出す出すことで、（x'P, z'P）を求めることができる。また、特徴量の組（φA, P, φB, P）の近傍の複数のテーブル要素（例えば、T1，T2，T3，T4）に格納されているデータを元にして、補間により点Pの空間座標（xP, zP）を算出することもできる。
　３次元空間の空間座標(x, y, z)を求めるために、上述した２次元空間での説明を３次元に拡張する必要がある。図１５は本発明に係る、計測対象空間内の各点（各位置）に３個の位相値を取得する方法を説明する図である。
　図１５に示されるように、プロジェクターＰＡ，ＰＢ，ＰＣを異なる位置に３台配置し、投影する格子の向きを調整することで、計測対象空間内の１点ごと（各位置）に３個の連続化された位相値（上述の説明の「特徴量」に対応する）を持つことになる。また、３個のプロジェクターのうち２個が同じ位置に配置されていたとしても、投影する格子の向きまたはピッチが異なっていればよい。要するに、３個のプロジェクターの配置と投影する格子の向き，ピッチなどの組み合わせによって、計測領域や部分的な計測領域に対して、３個の位相値と３次元座標が１対１の対応関係になるように配置と投影する格子の向き、ピッチとなっていればよい。このようにすると、この組み合わせと３次元座標は１対１の対応関係となるため、２次元の場合と同様に３次元でもテーブル化が可能である。あらかじめこの３個の連続化された位相値と３次元座標との対応関係をテーブル化しておく。
　計測対象空間内に配置された計測対象物である物体６をカメラ１２で撮影する場合は、各点ごとに３個の位相値が得られることになる。そして、対象物の３次元計測を行う場合には、カメラ１２で撮影された画像から得られた３個以上の位相値から、そのテーブルを参照することで、３次元座標値を得ることができる。
　このように、３個の位相値と３次元座標値との関係をテーブル化することで瞬時に３次元座標値を求めることができ、系統誤差も入らず精度よく座標が得られる。この方法では、カメラ１２の位置に無関係に３次元座標値が得られる。後述するように、カメラやレンズの位置が変化してもよく、ズームやピント調整も可能となる。計測装置の取り付け後にズームやオートフォーカスを使って計測対象物を拡大して撮影できるような３次元計測装置はこれまでになく、画期的で広い適用範囲が期待できる。
　プロジェクターＰＡ、ＰＢ、ＰＣに備わった各光源は、コンピュータ３０に搭載された制御プログラムに従って動作する。カメラ１２は物体６に投影された格子パターン像を撮像し、撮像した画像情報をコンピュータ３０に送る。コンピュータ３０は、記憶手段３１に格納された３個の位相値（特徴量）と３次元座標値との関係付けたテーブルを用いて、物体６の表面の各点の３次元座標値を求める。そして、求められた３次元座標値を用いて、コンピュータ３０に備わった図示しない表示装置の表示画面に３次元画像として表示することができる。なお、テーブルデータを取得する本発明の方法を実施する場合も、コンピュータ３０を用い、テーブルデータを取得するためのプログラムを動作させて、特徴量と３次元座標値との関係を示すテーブルデータを取得する。これらのプログラムは、記憶媒体３２に格納してもよいし、コンピュータ３０を図示しないインターネットなどの通信回線を経由し、クラウド上でプログラムを動作させてもよい。
　また、コンピュータ３０、記憶手段３１、または、記憶媒体３２が行なう演算処理または記憶処理は、それらの一部をインターネットなどの通信回線を経由し、図示しない別のコンピュータなどの処理装置で動作させてもよい。
　本発明では、カメラの画素数やカメラの数に係らず全体で同じテーブルが１個だけあればよい。このため、カメラの画素数が増えてもテーブル用のメモリー容量がむやみに増大することにはならない。また、複数個のカメラを配置する場合であっても、テーブルの容量が増えることはない。
　例えば、図１６に示すように移動ロボット１４に搭載し、路面状況の良くない現場で振動によってカメラやレンズの位置が移動したとしても、本手法を用いれば精度よく３次元計測が行える。走行手段として車輪を有する移動ロボット１４は、上下にカメラ１２，１３と、縦方向と横方向の２方向の格子投影が可能な格子投影ユニット１５Ａ，１５Ｂを備えている。
　なお、本発明に係る計測方法は、格子投影法だけにかぎらず、空間コード化法や、光切断法にも応用することが可能である。空間コード化法の場合は、３方向にプロジェクターを設置して、２値のパターンを複数回投影することで空間を分割する。それぞれのプロジェクターによって得られたコードが３個得られるので、その３個のコードと空間座標の対応関係を作ればよい。
　光切断法の場合は、レーザー等のスリット光の光源を３個用意する。スリット光の移動量がそれぞれの光源ごとに３個得られるため、その３個の移動量を表す値と空間座標の対応関係を作ればよい。
　上述したように、２次元空間のみを考える場合には、プロジェクターは少なくとも２個あればよい。３個以上になっても、３個の値から座標値の２成分を得ることは可能である。上述したように、３次元空間を考える場合には、プロジェクターは最低３個あればよい。４個以上になっても、４個以上の値から座標値の３成分を得ることは可能である。
　図１７は、プロジェクターの数を３個以上とし、そこから得られる特徴量を３個以上にすることで作成した，特徴量－座標テーブルとそれを用いて座標を読み取る手順を示す図である。
　この場合も図１４の場合と同様に、点Ｐにおいて得られた特徴量の組（φA, P, φB, P, φC, P）から点Pの空間座標として、特徴量の組に最も近いテーブル要素から（x'P, y'P, z'P）を求めることや、特徴量の組の近傍の複数のテーブル要素に格納されているデータを元にして、補間により（xP, yP, zP）を求めることができる。
　また、特徴量－座標テーブルを作成せずに、探索により座標を求める手法もある。図１８にその手順を示す。図１８は、上からグラフＡ，グラフＢ，グラフＸとして、それぞれ、カメラ１で撮影された画像の横方向の画素番号（i座標）に対する特徴量Ａ（φA），特徴量Ｂ（φB），さらに基準面７から得られたx座標の分布を表す。
　また，グラフＡ，グラフＢ，グラフＸともに、基準面７をR0，R1，．．．RNの位置（それぞれz = z0，z1，．．．zN）に移動して得られた値をプロットしたものを模式的に示している。これらの値は、基準面７に沿って連続的に単調に変化するものであるため、図１８に示すように、基準面７の位置ごとに、なめらかな曲線状に得られることになる。
　まず、グラフＡおよびグラフＢにおいて、物体上の点Ｐで得られた特徴量の組（φA, P, φB, P）から、グラフＡおよびグラフＢのどちらも同一のzの値になるi座標、もしくは近いzの値になるi座標を探索する。
　点Pは物体上の１点であるため、i座標が同一で、z座標も同一となる点がグラフＡおよびグラフＢ内に必ず存在するはずである。ただ、基準面７を設置する位置が離散的であるため、必ずしも同一になる点が見つかるとは限らない。その場合は、基準面７を設置する間隔が小さければ、近似的にそのような点を見つけることや、補間によりそのようになる点を算出することができる。
　図１８では、基準面７上でそのようになる点が探索できた場合を示している。このようにして探索して求めた基準面７の番号とそのz座標，i座標を覚えておく。ここでは、基準面７の番号は2，z座標はz2，i座標はiPである．次に、グラフＸにおいて、その基準面７の番号2とi座標iPからx座標xPの値を読み取ることができる。また、z座標はz2であるため、この手順で（xP, zP）が得られることになる。
　この探索による座標の求め方についても３次元に拡張可能である。図１８では横軸がi座標であり、グラフＡ，グラフＢ，グラフＸがそれぞれi座標に対する特徴量である。これに対して、３次元に拡張する場合は、カメラ１の画素の座標(i, j)に対する特徴量Ａ（φA），特徴量Ｂ（φB），特徴量Ｃ（φC）および，x座標，y座標のグラフを作成すればよい。このようにすることで、同様の手順で３次元座標（xP, yP, zP）を求めることができる。
　以上の方法を用いることによって、物体の３次元計測を行うカメラ２については、全くキャリブレーションを行うことなく、３次元計測を行うことができる。すなわち、カメラ２の位置は、移動してもよく、また、撮像レンズのピント調整やズーム調整を行ってもよいことになる。また、カメラ内部の発熱などの要因によって温度変化が発生し、それによってカメラ内部に変形が発生し、撮影位置が微小に変化することがあるが、その影響もない。
　カメラの向きによっては、カメラに対する重力の向きによって、レンズやカメラ内部のたわみの量が微小に変化するが、その影響も入らない。一般に撮像レンズにはピント調整機構やズーム機構などの可動部があるため、多少のぐらつきやがたつきがあり、振動や重力の向きなどによって微小に変形を起こす。これによって従来の３次元計測装置は計測精度の低下が発生していたが、本発明による計測方法の場合はその影響はない。
　なお本明細書において、以上に述べた複数個の特徴量と空間座標の対応関係をもとにして空間座標を求める手法を「特徴量型全空間計測手法」と呼び，その対応関係をテーブル化して空間座標を求める手法を「特徴量型全空間テーブル化手法」と呼ぶことにする。
１．４　装置の構成例
　以下、装置の構成例を示す。図１９は、縦方向の格子を投影する格子投影部が左右に取り付けられており、中央部に横方向の格子を投影する格子投影部が取り付けられている形態である。このようにすることで、複数個の特徴量の組が計測領域内もしくはその部分領域内で一意になるようにできる。
　格子投影ユニット３の左右に格子ガラス４Ａ，４Ｂが取り付けられ、中央部に格子ガラス４Ｃが取り付けられている。各格子ガラス４Ａ，４Ｂ，４Ｃに対応するように、光源５Ａ，５Ｂ，５Ｃが格子投影ユニット３に設けられている。格子ガラス４Ａ，４Ｂ，４Ｃの全ての格子の向きが異なるように配置することが望ましい。
　図２０は，装置内部にカメラを組み込んだ形態を示したものである。キャリブレーションに用いるカメラと計測用に用いるカメラは同一のものを使っても良いし、別々のものを使ってもよい。装置にカメラを組み込むことで、装置全体を小型化することができる。
　内部に組み込むカメラには、ズームレンズを用いることも可能である。複数のカメラを組み込むこと、片方は広角レンズを用いることで広い範囲を計測することができるカメラとし、もう一方のカメラにはズームレンズを用いることで、部分的に詳細に３次元計測を行うことができるようになる。また、カメラにパン・チルト機構をとりつけることで、さらに必要な領域を詳細に撮影することができ３次元計測装置を作成することも可能である。図２０の実施形態では、ズームレンズ付きカメラ１６とカメラ１７が組み込まれている。
　図２１は，投影する格子に任意の角度を与えたものである。格子ガラス４Ａ，４Ｂ，４Ｃが格子投影ユニット３に取り付けられている。本発明による計測手法では、このように任意の向きの投影格子を取り付けても、複数個の特徴量の組が計測領域内もしくはその部分領域で一意になるような配置であれば、３次元計測を行うことができる。また、計測領域の部分領域において複数個の特徴量の組が一意になるような配置であっても、どの部分領域かが特定できる手段があればよい。例えば、計測領域を左側と右側の部分領域ごとに特徴量の組が一意に決まる場合は、計測領域の左側か右側かがあきらかになる手段が別途あればよいことになる。その部分領域が数多くあっても同様である。例えば、位相接続されていない位相分布（２πの繰り返しになる位相分布）を特徴量とする場合は、特徴量の組が同一となる点は計測領域内で複数個存在することも想定される。その場合は、どの部分領域が求める領域かを判別する手段が別途あればよいことになる。
　図２２は、格子の投影部分を、格子ガラス４Ａ，４Ｂ，４Ｃ、４Ｄの４個にしたものである。投影される格子パターンが４個以上であっても、複数個の特徴量の組が計測領域内もしくはその部分領域内で一意になるような配置であれば、３次元計測を行うことができる。
　図２３は、格子ガラス４Ａ，４Ｂ，４Ｃのように、投影する格子に任意の向きを与え、さらに複数個のカメラ１８，１９，２０を組み込んだものである。カメラを複数個にすることで、各々のカメラそれぞれに広角撮影やズーム撮影，ピントの合う位置，パン・チルト機構などの別々の機能を持たせるようなことも可能である。また、複数のカメラで撮影して得られた空間座標の分布を合成することで、ノイズの低減された計測結果を得ることもできる。
　また、本発明の実施形態として、格子投影部で用いる光源の波長を分けておくことで、撮影側で分離して撮影することができるため、同時に格子パターンを投影することができる。すなわち、ワンショットの画像から空間座標を求めることも可能となる。このようにすることで揺れている状態であっても３次元計測を行うことができる。例えば、手で持ちながらであっても精度よく３次元計測が行える。また、ドローン等に搭載することでも精度よく３次元計測が行えるため、インフラ構造物の検査などにも利用することが可能となる。
　また、格子投影部として液晶プロジェクターのように２方向格子パターンを投影できるものを用いることができる。この場合は、１個の投影部で２個の特徴量を得ることができる。そのため、このような投影部を用いる場合は、３次元の空間座標を求めるためには、少なくとも２個の格子投影部が必要となる。
　以上のように、本発明の実施形態について説明したが、本発明は上述した実施形態の例に限定されることなく、適宜の変更を加えることにより、その他の態様で実施することができ、以下の効果を奏することができる。
（１）瞬時に３次元座標値を求めることができ、系統誤差も入らず精度よく座標が得られる。
（２）カメラの位置に無関係に３次元座標値が得られる。すなわち、カメラやレンズの位置が変化してもよく、ズームやピント調整も可能となる。カメラを複数個にしても、テーブルを増やす必要はない。
（３）振動下であっても，格子投影部分のみ強固にして振動対策をしておけばよい。
２．実験例
　以下に、特徴量型全空間計測手法の実験例を示す。この実験では、簡単にするため、２個の特徴量を用いて（x, z）座標を求める実験を行った。図２４に、２台のプロジェクターと基準面７、計測対象物体，テーブル作成用カメラであるカメラ１，計測用カメラであるカメラ２の配置を示す。
　格子投影ユニット３には、光源５Ａと格子ガラス４Ａ，光源５Ｂと格子ガラス４Ｂが固定されている。光源５Ａと格子ガラス４Ａは、プロジェクターとして機能する。これにより、基準面７と計測対象物体に格子Ａと格子Ｂをそれぞれ投影することができる。また、カメラ１は格子投影ユニット３内に固定されている。格子投影ユニット３は、リニアステージに取り付けられており、基準面７の法線方向に任意量だけ平行移動させることができる。
　基準面７には、液晶モニタ１０の表面に光拡散板を貼付けたものを用いた。液晶モニタ１０にx方向の格子パターンを表示し、それをカメラ１で撮影することで、撮影画素ごとに基準面７上のx座標値を知ることができる。また、格子Ａと格子Ｂを投影することで、基準面７を撮影する画素ごとに、x座標値．z座標値，格子Ａの位相値φAおよび格子Ｂの位相値φBを得ることができる。
　なお、本実験では、基準面７をz = 0 mmからz = 90 mmまで10 mm間隔で移動して、それぞれの位置において、投影された格子の位相値の解析と液晶モニタへのx方向の格子の表示とその撮影を行った。投影された格子の位相解析にはサンプリングモアレ法を用い、得られた位相分布に対して位相接続の処理を行うことで各画素における格子パターン８Ａの位相値φAおよび格子パターン８Ｂの位相値φBを求めた。また，基準面７に表示されたx方向の格子の位相解析には、位相シフト法を用いた。
　本実験の場合、基準面７は移動させず、代わりに格子投影ユニット３を移動することで、相対的に基準面７が移動する状態を作った。図２４に示す基準面７の位置R0，R1，．．．RNは、格子投影ユニット３からの相対的な位置を示している。
　次に，計測対象物体として、図２５に示すように、白色の平板１１を用い、x軸に対して30度傾けて設置した。白色の平板１１には、40mmの間隔で２カ所にマークが付けられているこのマークのある点をP1とP2とする。物体に対して格子パターン８Ａを投影して、カメラ２で撮影する。得られた画像からサンプリングモアレ法で位相分布を求め、さらに位相接続を行うことで、点P1と点P2における位相値φA,P1および格子パターン８Ｂの位相値φB,P1をそれぞれ求める。同様に、物体に対して格子パターン８Ｂを投影することで、点P1と点P2における位相値φA,P2および格子パターン８Ｂの位相値φB,P2を求める。これらの位相値が特徴量となる。
　実験の結果、点P1における位相値φA,P1およびφB,P1はそれぞれ-31.49 radと-35.44 radであった。また、点P2における位相値φA,P2およびφB,P2はそれぞれ-47.66 radと-53.64 radであった。これらの特徴量をもとにして（x, z）座標を求めると、点P1においては（61.0 mm, 50.0 mm），点P2においては（96.1 mm, 30.0 mm）となった。これら２点の間隔を得られた座標値から求めたところ、40.4 mmとなり、２点間の間隔が得られていることがわかる。なお、本実験においては、図１８を用いて説明した特徴量－座標テーブルを作成せずに探索により座標を求める手法を用いた。
　この出願は、２０１７年５月８日に出願された日本出願特願２０１７－０９２１４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　カメラ
　２　カメラ
　３　格子投影ユニット
　４Ａ　格子ガラス
　４Ｂ　格子ガラス
　５Ａ　光源
　５Ｂ　光源
　６　物体
　７　基準面
　８Ａ　格子パターン
　８Ｂ　格子パターン
　９　リニアステージ
　１０　液晶モニタ
　１１　平板
　１２　カメラ
　１３　カメラ
　１４　移動ロボット
　１５Ａ　格子パターン
　１５Ｂ　格子パターン
　１６　ズームレンズ付きカメラ
　１７　カメラ
　１８　カメラ
　１９　カメラ
　２０　カメラ

　３０　コンピュータ
　３１　記憶手段
　３２　記憶媒体

Claims (20)

  1. 　３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影するステップと、
    前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影するステップと、
    基準物体を用いて予め求められた前記各３つ以上の特徴量の組と前記空間座標との関係を用いて、前記撮影して得られた画像を基に得られた３つ以上の特徴量の組から、前記空間座標を求めるステップと、
    を含む前記計測対象物表面の空間座標を求める計測方法。
  2. 　請求項１において、前記各３つ以上の特徴量の組と前記各空間座標との関係をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める計測方法。
  3. 　請求項１において、前記各３つ以上の特徴量の組と前記各空間座標との関係の一部をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める計測方法。
  4. 　請求項１～３の何れか一つにおいて、前記複数の位置から投影される光の波長を複数にすることで同時に複数の特徴量を得る、前記計測対象物表面の空間座標を求める計測方法。
  5. 　請求項１～４の何れか一つにおいて、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める計測方法。
  6. 　請求項１～５の何れか一つにおいて、前記３つ以上の特徴量の組と前記各空間座標との関係は、前記複数の位置から前記基準物体の表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して、３つ以上の特徴量の組と空間座標との関係を求める方法。
  7. 　３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から基準物体表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔でパターンまたは前記パターンの変化を投影して、３つ以上の特徴量の組と前記空間座標との関係を求める方法。
  8. 　請求項６または７の何れか一つにおいて、前記基準物体表面に格子パターンあるいはマークを固定する、３つ以上の特徴量の組と空間座標との関係を求める方法。
  9. 　請求項６～８の何れか一つにおいて、前記複数の位置から投影される光の波長を複数にすることで、３つ以上の特徴量の組と空間座標との関係を求める方法。
  10. 　請求項６～９の何れか一つにおいて、前記複数の位置は、一列に並んで配置されていることを特徴とする、３つ以上の特徴量の組と前記空間座標との関係を求める方法。
  11. 　３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影する投影部と、
    前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影する撮像部と、
    前記各３つ以上の特徴量の組と前記各空間座標との関係を記憶する記憶部と、
    前記記憶手段に記憶された前記３つ以上の特徴量の組と前記各空間座標との関係を用いて、前記撮影して得られた画像を基に得られた３つ以上の特徴量の組から、前記空間座標を求める空間座標取得部と、
    を備えた前記計測対象物表面の空間座標を求める計測装置。
  12. 　請求項１１において、前記各３つ以上の特徴量の組と前記各空間座標との関係はテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める計測装置。
  13. 　請求項１１において、前記各３つ以上の特徴量の組と前記空間座標との関係の一部がテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める計測装置。
  14. 　請求項１１～１３の何れか一つにおいて、前記投影部の複数の位置から投影される光の波長を異なったものとすることで同時に複数の前記特徴量を得る、前記計測対象物表面の空間座標を求める計測装置。
  15. 　請求項１１～１４の何れか一つにおいて、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める計測装置。
  16. 　請求項１１～１５の何れか一つにおいて、前記各３つ以上の特徴量と前記各空間座標との関係は、前記投影部の複数の位置から基準物体表面に、前記投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、３つ以上の特徴量の組と空間座標との関係を求める計測装置。
  17. 　請求項１１～１５の何れか一つにおいて、前記各３つ以上の特徴量と前記各空間座標との関係は、前記投影部と同じ構成を有する他の投影部を用い、前記他の投影部から基準物体表面に、前記他の投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、３つ以上の特徴量の組と空間座標との関係を求める計測装置。
  18. 　３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置からパターンまたは前記パターンの変化を投影する投影部と、
    前記複数個と基準物体との間隔を変更する変更部と、
    前記複数個の投影部と前記基準物体との距離を変更して複数の間隔で、前記パターンまたは前記パターンの変化を撮影する撮像部と、
    前記撮像部により撮像された画像と、前記複数の投影部と前記基準物体との距離を基に、３つ以上の特徴量の組と前記空間座標との関係を求める計測装置。
  19. 　請求項１７または１８の何れか一つにおいて、前記基準物体表面に格子パターンあるいはマークを固定する、３つ以上の特徴量の組と空間座標との関係を求める計測装置。
  20. 　請求項１１から１９の何れか一つにおいて、前記投影部は一つの投影ユニットからなり、前記撮像部は複数個のカメラからなり、前記複数個のカメラは前記投影ユニットに設けられている、計測装置。
PCT/JP2018/017592 2017-05-08 2018-05-07 特徴量を用いた３次元計測方法およびその装置 WO2018207720A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112018002357.5T DE112018002357T5 (de) 2017-05-08 2018-05-07 Dreidimensionales Messverfahren unter Verwendung von Merkmalsgrössen, und Vorrichtung, die das Verfahren verwendet
CN201880030908.3A CN110612428B (zh) 2017-05-08 2018-05-07 使用特征量的三维测量方法及其装置
GB1917402.8A GB2577013B (en) 2017-05-08 2018-05-07 Three-Dimensional Measurement Method Using Feature Amounts and Device Using the Method
US16/612,102 US11257232B2 (en) 2017-05-08 2018-05-07 Three-dimensional measurement method using feature amounts and device using the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017092144A JP6308637B1 (ja) 2017-05-08 2017-05-08 特徴量を用いた３次元計測方法およびその装置
JP2017-092144 2017-05-08

Publications (1)

Publication Number Publication Date
WO2018207720A1 true WO2018207720A1 (ja) 2018-11-15

Family

ID=61901945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017592 WO2018207720A1 (ja) 2017-05-08 2018-05-07 特徴量を用いた３次元計測方法およびその装置

Country Status (6)

Country Link
US (1) US11257232B2 (ja)
JP (1) JP6308637B1 (ja)
CN (1) CN110612428B (ja)
DE (1) DE112018002357T5 (ja)
GB (1) GB2577013B (ja)
WO (1) WO2018207720A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6308637B1 (ja) * 2017-05-08 2018-04-11 国立大学法人福井大学 特徴量を用いた３次元計測方法およびその装置
JP7231433B2 (ja) * 2019-02-15 2023-03-01 株式会社キーエンス 画像処理装置
JP2020148700A (ja) * 2019-03-15 2020-09-17 オムロン株式会社 距離画像センサ、および角度情報取得方法
EP3846123B1 (en) * 2019-12-31 2024-05-29 Dassault Systèmes 3d reconstruction with smooth maps
JP7393737B2 (ja) * 2020-02-27 2023-12-07 オムロン株式会社 画像検査装置及び画像検査方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008190990A (ja) * 2007-02-05 2008-08-21 Nec Engineering Ltd 三次元形状計測装置及び三次元形状計測方法
JP2011242178A (ja) * 2010-05-14 2011-12-01 Moire Institute Inc 形状計測装置及び形状計測方法
JP2014029164A (ja) * 2012-07-31 2014-02-13 Ogura Clutch Co Ltd 動力伝達装置
JP2016128785A (ja) * 2015-01-09 2016-07-14 国立大学法人 和歌山大学 形状計測装置および形状計測方法
JP6308637B1 (ja) * 2017-05-08 2018-04-11 国立大学法人福井大学 特徴量を用いた３次元計測方法およびその装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA931664A (en) * 1970-03-05 1973-08-07 Polichette Joseph Metallizing insulating bases
JPS6035031B2 (ja) 1978-03-09 1985-08-12 株式会社東芝 燃料集合体
US4293946A (en) 1979-11-21 1981-10-06 International Telephone And Telegraph Corporation Trilateral duplex path conferencing system with broadcast capability
JPS638637A (ja) * 1986-06-27 1988-01-14 Ricoh Co Ltd 電気泳動表示素子
DE8915535U1 (de) * 1989-03-02 1990-10-25 Carl Zeiss, 89518 Heidenheim Auflicht-Objektbeleuchtungseinrichtung
DE4308456C2 (de) 1993-03-17 1996-03-28 Ems Technik Gmbh Vorrichtung zur Lagebestimmung eines Positionierkörpers relativ zu einem Bezugskörper
US5615003A (en) * 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
JP3417377B2 (ja) * 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
JP3281918B2 (ja) 1999-10-12 2002-05-13 和歌山大学長 形状計測方法および装置
JP2002172575A (ja) * 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
US7539340B2 (en) * 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
JP4873485B2 (ja) 2007-05-11 2012-02-08 国立大学法人 和歌山大学 多数の基準面を用いた形状計測方法および形状計測装置
JP5943547B2 (ja) * 2007-08-17 2016-07-05 レニショウ パブリック リミテッド カンパニーＲｅｎｉｓｈａｗ Ｐｕｂｌｉｃ Ｌｉｍｉｔｅｄ Ｃｏｍｐａｎｙ 非接触測定を行う装置および方法
CN101509764A (zh) * 2009-02-27 2009-08-19 东南大学 一种快速获取物体三维形状的方法
CN102822666A (zh) 2009-11-30 2012-12-12 株式会社尼康 检查装置、三维形状测定装置、构造物的制造方法
US9607239B2 (en) * 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
JP5770495B2 (ja) 2011-03-11 2015-08-26 一般社団法人モアレ研究所 形状計測装置および格子投影装置
JP5986364B2 (ja) * 2011-10-17 2016-09-06 キヤノン株式会社 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム
JP5867123B2 (ja) * 2012-02-03 2016-02-24 オムロン株式会社 ３次元形状計測装置およびキャリブレーション方法
JP6035031B2 (ja) 2012-02-28 2016-11-30 藤垣　元治 複数の格子を用いた三次元形状計測装置
US20150160005A1 (en) 2012-06-12 2015-06-11 Shima Seiki Mfg., Ltd. Three-dimensional measurement apparatus, and three-dimensional measurement method
WO2013187204A1 (ja) 2012-06-13 2013-12-19 株式会社島精機製作所 ３次元計測装置のための合成パラメータの生成装置
CN102721376B (zh) * 2012-06-20 2014-12-31 北京航空航天大学 一种大视场三维视觉传感器的标定方法
JP5956296B2 (ja) 2012-09-14 2016-07-27 ４Ｄセンサー株式会社 形状計測装置及び形状計測方法
WO2014074003A1 (ru) 2012-11-07 2014-05-15 Артек Европа С.А.Р.Л. Способ контроля линейных размеров трехмерных объектов
US20150015701A1 (en) 2013-07-10 2015-01-15 Faro Technologies, Inc. Triangulation scanner having motorized elements
JP5854540B1 (ja) * 2015-01-09 2016-02-09 藤垣　元治 形状計測装置および形状計測方法
JP6527725B2 (ja) 2015-03-13 2019-06-05 藤垣　元治 三次元形状測定装置
JP6666670B2 (ja) 2015-08-17 2020-03-18 藤垣　元治 曲面を基準面とする三次元形状計測方法
JP6643045B2 (ja) 2015-11-05 2020-02-12 東京エレクトロン株式会社 基板処理方法及び基板処理装置
CN205679208U (zh) 2016-05-17 2016-11-09 科络普线束技术（绵阳）有限公司 一种结合二维投影的三坐标测量仪

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008190990A (ja) * 2007-02-05 2008-08-21 Nec Engineering Ltd 三次元形状計測装置及び三次元形状計測方法
JP2011242178A (ja) * 2010-05-14 2011-12-01 Moire Institute Inc 形状計測装置及び形状計測方法
JP2014029164A (ja) * 2012-07-31 2014-02-13 Ogura Clutch Co Ltd 動力伝達装置
JP2016128785A (ja) * 2015-01-09 2016-07-14 国立大学法人 和歌山大学 形状計測装置および形状計測方法
JP6308637B1 (ja) * 2017-05-08 2018-04-11 国立大学法人福井大学 特徴量を用いた３次元計測方法およびその装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUSUNOKI, YOSHIYUKI ET AL.: "Review on method for creating table in three-dimensional inspection technique by feature-quantity type whole-space tabulation method", PROCEEDINGS OF THE JAPAN SOCIETY FOR PRECISION ENGINEERING: LECTURE PROCEEDINGS OF CONFERENCE OF JSPE, 15 March 2018 (2018-03-15), pages 373, 374 *

Also Published As

Publication number Publication date
JP6308637B1 (ja) 2018-04-11
DE112018002357T5 (de) 2020-01-16
US11257232B2 (en) 2022-02-22
GB2577013B (en) 2022-05-04
GB201917402D0 (en) 2020-01-15
CN110612428A (zh) 2019-12-24
US20210158551A1 (en) 2021-05-27
GB2577013A (en) 2020-03-11
JP2018189497A (ja) 2018-11-29
CN110612428B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
WO2018207720A1 (ja) 特徴量を用いた３次元計測方法およびその装置
CN110447220B (zh) 校准装置、校准方法、光学装置、摄影装置以及投影装置
US11022692B2 (en) Triangulation scanner having flat geometry and projecting uncoded spots
US9602811B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
JP6447055B2 (ja) 校正方法、校正装置、計測用具及びプログラム
US20180135965A1 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
CN113532329B (zh) 一种以投射光斑为标定点的标定方法
US4878247A (en) Method for the photogrammetrical pick up of an object with the aid of at least one opto-electric solid-state surface sensor
TWI731443B (zh) 判斷表面尺寸資訊的點雲合併方法
JP6620869B2 (ja) 校正方法、校正装置、及びプログラム
JP2017527812A (ja) ３次元座標の光学測定のための方法および３次元測定デバイスの較正
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
KR20020000532A (ko) 카메라를 조정하는 방법 및 장치
US11350077B2 (en) Handheld three dimensional scanner with an autoaperture
US20120056999A1 (en) Image measuring device and image measuring method
JP2010151697A (ja) ３次元形状計測装置および方法
CN112272272B (zh) 一种成像方法及其装置
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2007047142A (ja) 画像処理及びレーザビームを利用した位置姿勢計測装置
JP2014115179A (ja) 測長装置、書画カメラおよび測長方法
JP2022152480A (ja) ３次元計測装置、３次元計測方法、プログラム、システム、及び物品の製造方法
US8885051B2 (en) Camera calibration method and camera calibration apparatus
JP5357688B2 (ja) 基準映像表示装置の調整装置、撮像装置の調整装置および表示装置の調整装置
JP3446020B2 (ja) 形状計測方法
Stirling Photogrammetry—theory and technology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18797912

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 201917402

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20180507

122 Ep: pct application non-entry in european phase

Ref document number: 18797912

Country of ref document: EP

Kind code of ref document: A1