WO2023167162A1 - ドットパターン生成方法及び３次元計測装置 - Google Patents

ドットパターン生成方法及び３次元計測装置 Download PDF

Info

Publication number
WO2023167162A1
WO2023167162A1 PCT/JP2023/007197 JP2023007197W WO2023167162A1 WO 2023167162 A1 WO2023167162 A1 WO 2023167162A1 JP 2023007197 W JP2023007197 W JP 2023007197W WO 2023167162 A1 WO2023167162 A1 WO 2023167162A1
Authority
WO
WIPO (PCT)
Prior art keywords
dot pattern
arrangement
dot
density
pattern generation
Prior art date
Application number
PCT/JP2023/007197
Other languages
English (en)
French (fr)
Inventor
淳 武田
Original Assignee
興和株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 興和株式会社 filed Critical 興和株式会社
Publication of WO2023167162A1 publication Critical patent/WO2023167162A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Definitions

  • the present invention relates to a dot pattern generation method and a three-dimensional measuring device for three-dimensional measurement of an object.
  • devices have been used that measure the three-dimensional shape of an object based on the principle of triangulation based on two captured images of the object taken from two directions.
  • the principle of triangulation it is necessary to specify corresponding corresponding locations between two captured images.
  • As a method of identifying corresponding locations there is a method of comparing luminance information of small areas in two captured images.
  • the object has a flat portion, a portion with little change in color, or the like, a situation may arise in which it is difficult to specify the corresponding portion with high accuracy.
  • a random dot pattern is generally used as the light and dark pattern of the projection light projected onto the object for the purpose of specifying the corresponding point in stereo matching.
  • a light source is used to project a dot pattern onto an object. If the light source is a point light source such as an LED, the amount of light increases at the center of the irradiation range of the projection light, and decreases as the distance from the center increases. If the dynamic range of the camera is narrow when photographing such a state in which there is a difference in the amount of light, saturation may occur, resulting in blown-out highlights or blocked-up shadows. There is a problem that the accuracy of specifying the corresponding portion in stereo matching is lowered in a photographed image with blown-out highlights or blocked-up shadows.
  • the present invention has been made in view of the above problems, and is capable of generating a dot pattern that can irradiate a projection area with a uniform amount of light even if the light source for irradiating the dot pattern is a point light source such as an LED.
  • An object of the present invention is to provide a method and a three-dimensional measuring device.
  • a dot pattern generation method is a dot pattern generation method for generating a dot pattern to be projected onto an object with projection light in order to calculate parallax information by stereo matching and perform three-dimensional measurement.
  • an area dividing procedure for dividing the dot pattern generation range into at least two areas according to the distance from the irradiation center of the projection light;
  • a density determination procedure for determining density information of dots to be set in each of the plurality of regions so that the density of dots to be placed in each region is gradually lowered, and the rule determined by the Poisson disk sampling algorithm.
  • a dot pattern generation procedure for arranging dots in each of the plurality of regions to generate a dot pattern based on the density information.
  • the dot pattern generation procedure further includes a determination process for determining a plurality of reference positions according to a rule determined by a Poisson disk sampling algorithm, and an arrangement for each of the reference positions. a selection process for selecting one from a plurality of arrangement patterns indicating at least one or more dot arrangements; and an arrangement process for arranging dots based on the arrangement pattern selected for each of the reference positions. and at least two or more groups are set in advance by classifying the arrangement patterns according to the arrangement density of the dots, and the selection process includes the arrangement arranged in each area for each area.
  • the arrangement pattern to be arranged at each reference position may be selected based on a predetermined selection rule that defines from which group the pattern is to be selected.
  • the selection rule further includes determining a selection ratio from the plurality of groups for the arrangement pattern to be arranged in each area, so that the It may be characterized by reflecting density information.
  • the dot pattern generation procedure further includes a determination process for determining a plurality of reference positions according to a rule determined by a Poisson disk sampling algorithm, and an arrangement for each of the reference positions. a selection process for selecting one from a plurality of arrangement patterns indicating at least one or more dot arrangements; and an arrangement process for arranging dots based on the arrangement pattern selected for each of the reference positions. and the determination process may be characterized in that, based on the density information determined for each area, the placement density of the reference positions to be placed in the area is determined. .
  • the plurality of arrangement patterns further determine in which part of a preset dot arrangement area the dots are to be arranged. It may be characterized by being a combination of patterns that do not overlap each other.
  • a three-dimensional measuring device is a three-dimensional measuring device for performing three-dimensional measurement on an object, comprising: a dot pattern generation unit for generating a dot pattern based on any one of the above dot pattern generation methods; A dot pattern projection control unit for controlling a projection device so as to project the projection light composed of the dot pattern onto the object, and a photographing device for photographing the object onto which the projection light is projected from two directions.
  • a captured image acquisition unit that acquires two captured images by controlling a parallax information calculation unit that calculates parallax information for the acquired two captured images; and based on the calculated parallax information, the and a three-dimensional shape specifying unit that specifies the three-dimensional shape of the object.
  • a three-dimensional measuring apparatus is a three-dimensional measuring apparatus for performing three-dimensional measurement on an object, wherein a dot pattern is generated in advance based on any of the dot pattern generating methods described above, and a predetermined storage unit is provided. and a dot pattern projection control unit that reads out the dot pattern from the storage unit and controls the projection device to project the projection light composed of the dot pattern onto the object. and a photographed image acquiring unit that acquires two photographed images by controlling a photographing device to photograph the object on which the projection light is projected from two directions; A parallax information calculation unit that calculates parallax information, and a three-dimensional shape identification unit that identifies the three-dimensional shape of the object based on the calculated parallax information.
  • a dot pattern can be generated so that the density of dots in the central portion is high and the density of dots decreases as the distance from the center increases. Even with projection light using , the projection area is illuminated with a uniform amount of light, so stereo matching can be performed stably without saturation even if the dynamic range of the camera is narrow.
  • FIG. 1 is a block diagram showing an example of the configuration of a three-dimensional measuring device corresponding to at least one embodiment of the present invention
  • FIG. FIG. 4 is a flowchart diagram showing an example of the flow of three-dimensional measurement processing corresponding to at least one embodiment of the present invention
  • FIG. 4 is a flowchart diagram showing an example of a rough flow of dot pattern generation in this example corresponding to at least one of the embodiments of the present invention
  • FIG. 5 is a flow chart diagram showing an example of the flow of a dot pattern generation procedure of this example corresponding to at least one of the embodiments of the present invention
  • FIG. 4 is an explanatory diagram illustrating an example of arrangement patterns belonging to a first group corresponding to at least one embodiment of the present invention
  • FIG. 9 is an explanatory diagram illustrating an example of arrangement patterns belonging to a second group corresponding to at least one embodiment of the present invention
  • FIG. 10 is an explanatory diagram illustrating an example of setting of density information for each area and an example of a dot arrangement method corresponding to at least one of the embodiments of the present invention
  • FIG. 5 is an image diagram showing an example of a dot pattern generated based on the setting of density information for each region and the dot arrangement method corresponding to at least one embodiment of the present invention
  • FIG. 1 is a block diagram showing an example of the configuration of a three-dimensional measuring device corresponding to at least one embodiment of the present invention.
  • the three-dimensional measurement apparatus 10 includes a dot pattern generation unit 11, a dot pattern projection control unit 12, a captured image acquisition unit 13, a parallax information calculation unit 14, and a three-dimensional shape identification unit 15. , and a storage unit 16 .
  • the three-dimensional measurement device 10 is a device for performing three-dimensional measurement of an object. Specifically, the three-dimensional measurement apparatus 10 projects projection light onto an object to photograph it, and specifies the three-dimensional shape of the object based on the photographed image of the object onto which the projection light is projected. It is a device.
  • the three-dimensional measurement device 10 includes a CPU (Central Processing Unit) that a general computer would normally have, a memory, a hard disk drive, a storage such as an SSD, etc.
  • an input device such as a mouse and a keyboard, an output device such as a display and a printer, and a communication device for connecting to a communication network may be provided, and these may be connected via a bus. .
  • a CPU Central Processing Unit
  • the processing in each part of the three-dimensional measuring device 10 is realized by reading a program for executing the processing in each part from the memory and executing it in a CPU, GPU, or FPGA that functions as a control circuit (processing circuit, processing circuitry). do.
  • the processor processing circuit
  • the processor is configured to execute each process of each device.
  • the three-dimensional measurement device 10 uses a projection device 20 and an imaging device 30 in three-dimensional measurement.
  • the three-dimensional measurement device 10 is implemented as a dedicated machine, and the description is given assuming that the projection device 20 and the imaging device 30 are integrally provided inside.
  • the three-dimensional measurement device 10 does not necessarily have to have the projection device 20 and the imaging device 30 inside, and may use the external projection device 20 and/or the imaging device 30 .
  • the projection device 20 is a device for projecting projection light onto an object.
  • Examples of projection device 20 include a projector and a display.
  • the photographing device 30 is a device for photographing an object from two directions.
  • two imaging devices 30 are provided inside the three-dimensional measurement device 10 in a portion capable of imaging an object from two directions.
  • the imaging device 30 is an external device independent of the three-dimensional measurement device 10, for example, two devices independent of each other or one device provided with two imaging optical systems inside the own device can be used. It is a device.
  • An example of the imaging device 30 is a stereo camera.
  • the dot pattern generation unit 11 has a function of generating dot patterns based on a predetermined generation method.
  • the dot pattern generated by the dot pattern generating unit 11 is a pattern indicating the switching of light and dark of the projection light projected by the projection device 20, and is a two-dimensional pattern indicated by the arrangement of dots.
  • the shape of each dot is not particularly limited, and may be round or square. A specific dot pattern generation method will be described later. Further, the dot pattern unique to this example generated by the dot pattern generation unit 11 is hereinafter referred to as "this example dot pattern".
  • the dot pattern projection control unit 12 has a function of controlling the projection device 20 so as to project the projection light composed of the dot pattern of this example onto the target object.
  • the portion corresponding to the dot in the dot pattern of this example when the projection light is projected onto the object may be a portion (bright portion) having a higher luminance than the portion corresponding to other than the dot. However, it may be a portion with low brightness (dark portion). Note that in this example, the projection processing by the dot pattern projection control unit 12 is executed by controlling the projection device 20 .
  • the photographed image acquisition unit 13 has a function of acquiring two photographed images by controlling the photographing device 30 so as to photograph the object onto which the projection light is projected from two directions.
  • the photographing process from two directions by the photographed image acquisition unit 13 is executed by controlling the photographing device 30 provided inside the three-dimensional measuring device 10 . It should be noted that the photographing by the photographing device 30 is performed in such a state that the object on which the projection light is projected fits in both angles of view when photographing from two directions.
  • the parallax information calculation unit 14 has a function of calculating parallax information for the two acquired captured images. Specifically, the parallax information calculation unit 14 identifies a location in one of the two captured images acquired by the captured image acquisition unit 13 that corresponds to a predetermined location in the other captured image, and Processing is performed to calculate distance information between pixel positions at a point as parallax information. For example, the predetermined location is one pixel at a predetermined position in the captured image. Then, for example, when one pixel in the other captured image corresponding to one pixel at a predetermined position in the captured image is specified, the parallax information calculation unit 14 determines the distance between the pixel positions of the two pixels whose correspondence is specified. is calculated as parallax information.
  • a pixel position means a position corresponding to each pixel in a captured image composed of a plurality of pixels.
  • the parallax information calculation unit 14 may use the luminance information of the captured image when identifying a location in the other captured image that corresponds to a predetermined location in one captured image.
  • the luminance information of the captured image exists, for example, for each pixel.
  • luminance information of pixels within a predetermined range based on a predetermined location of the captured image may be used.
  • the parallax information calculation unit 14 calculates a predetermined number of pixels located within a predetermined range centered on one pixel at a predetermined position of the captured image (for example, a total of 9 pixels, 3 vertically and 3 horizontally centered at the pixel at the predetermined position). ) is used.
  • the brightness of one pixel at a predetermined position is compared with the brightness of a plurality of pixels located within a predetermined range centering on the one pixel to generate binarized binary vector data. Then, based on the Hamming distance between the captured images for the data, a location in the other captured image corresponding to a predetermined location in the other captured image is specified.
  • the above is an example of a method of using luminance information.
  • the three-dimensional shape identification unit 15 has a function of identifying the three-dimensional shape of the object based on the calculated parallax information.
  • the three-dimensional shape identification unit 15 uses the principle of triangulation when identifying the three-dimensional shape of the object.
  • the three-dimensional shape identification unit 15 performs triangulation on the distance information from the imaging device 30 to each point in the object based on the information indicating the distance between pixel positions calculated by the parallax information calculation unit 14, for example. Each is calculated using the principle, and the three-dimensional shape of the object is specified based on the calculated distance information.
  • the storage unit 16 has a function of storing information necessary for the processing of each unit in the three-dimensional measuring device 10 and storing various information generated by the processing of each unit.
  • FIG. 2 is a flowchart diagram showing an example of the flow of three-dimensional measurement processing corresponding to at least one embodiment of the present invention.
  • a flow of three-dimensional measurement processing in the three-dimensional measurement apparatus 10 corresponding to at least one embodiment of the present invention will be described with reference to FIG.
  • the three-dimensional measurement process is started by generating the dot pattern of this example in the three-dimensional measurement device 10 (step S101).
  • a detailed flow of the method for generating the dot pattern of this example will be described with reference to FIGS. 3 and 4.
  • FIG. Next, the three-dimensional measurement device 10 controls the projection device 20 so as to project the projection light composed of the dot pattern of this example onto the object (step S102).
  • the three-dimensional measurement device 10 controls the imaging device 30 so as to capture images of the object from two directions, and acquires two captured images (step S103).
  • the three-dimensional measurement device 10 calculates parallax information for the two captured images (step S104).
  • the three-dimensional measuring device 10 identifies the three-dimensional shape of the object based on the parallax information (step S105), and the process ends.
  • Dot pattern generation method Next, a method for generating the dot pattern of this example will be described in detail.
  • FIG. 3 is a flowchart diagram showing an example of a rough flow of generating the dot pattern of this example corresponding to at least one embodiment of the present invention.
  • the dot pattern of this example is generated by dividing the dot pattern generation range into at least two regions according to the distance from the irradiation center of the projection light in the three-dimensional measurement device 10. (region dividing procedure) (step S201). Any division method may be used as long as the region can be divided according to the distance from the irradiation center.
  • the three-dimensional measurement apparatus 10 sets the density of dots in each of the plurality of regions so that the density of dots arranged in each region gradually decreases as the distance from the irradiation center of the projection light increases.
  • step S202 density determination procedure
  • Any method of specifying the density information may be used, including a method of specifying a specific dot density as a numerical value. A method of specifying such as medium density and low density may be used.
  • the three-dimensional measuring apparatus 10 generates the dot pattern of the present example by arranging dots in each of the plurality of regions based on the rule determined by the Poisson disk sampling algorithm and the determined density information. (Dot pattern generation procedure) (Step S203), the generation process is terminated.
  • FIG. 4 is a flowchart diagram showing an example of the flow of the dot pattern generation procedure of this example corresponding to at least one embodiment of the present invention.
  • the flow described in FIG. 4 is an example of a more detailed flow of the dot pattern generation procedure in step S203 of FIG.
  • the dot pattern generation procedure is started by determining a plurality of reference positions for each region according to rules determined by the Poisson disk sampling algorithm in the three-dimensional measurement device 10 (step S301).
  • the three-dimensional measurement apparatus 10 includes a first group to which a plurality of placement patterns with a high dot placement density belong, and a dot placement pattern.
  • a second group to which a plurality of layout patterns with a low layout density belong is set, and from which group the layout pattern is to be selected is determined according to the density information set for the area (step S302). At this time, the selection ratio between the first group and the second group is determined in advance for each area.
  • the three-dimensional measuring device 10 selects an arrangement pattern from among the determined groups (step S303). The arrangement pattern selected at this time is preferably determined at random.
  • the three-dimensional measuring device 10 arranges dots at the reference positions according to the selected arrangement pattern (step S304). In this way, the three-dimensional measuring apparatus 10 repeats the process of executing steps S302 to S304 for one reference position to arrange dots until the dot arrangement is completed for all reference positions (step S305). . Then, the three-dimensional measuring device 10 ends the dot pattern generation procedure when the dot arrangement is completed for all the reference positions (S305-Y).
  • FIG. 5 is an explanatory diagram explaining an example of arrangement patterns belonging to the first group (group with high dot arrangement density) corresponding to at least one embodiment of the present invention.
  • FIG. 5 shows examples of arrangement patterns that are candidates for selection in the dot pattern generation procedure in the dot pattern generation unit 11 .
  • there are a total of 14 types of arrangement patterns belonging to the first group each of which is a grid in which 5 dots are arranged in a dot arrangement area capable of arranging a maximum of 9 dots of 3 rows and 3 columns. pattern.
  • the 15 types of arrangement patterns in this example are combinations that do not include the same dot arrangement pattern in duplicate and that do not overlap with each other when translated in the dot arrangement area.
  • each arrangement pattern is assigned a unique number from 0 to 14.
  • FIG. 1 In the selection process by the dot pattern generator 11, any one of 0 to 14 is randomly generated, and an arrangement pattern corresponding to the generated numerical value is selected. Note that when the arrangement pattern indicates that two dots are arranged adjacently, the two dots in the projection light projected by the dot pattern projection control unit 12 may be continuous or may be arranged at a predetermined distance. You can stay away.
  • FIG. 6 is an explanatory diagram explaining an example of arrangement patterns belonging to the second group (group with low dot arrangement density) corresponding to at least one embodiment of the present invention.
  • FIG. 6 shows examples of arrangement patterns that are candidates for selection in the dot pattern generation procedure in the dot pattern generation unit 11 .
  • there are a total of 25 arrangement patterns belonging to the second group each of which has 1 to 3 dots arranged in a dot arrangement area capable of arranging a maximum of 9 dots of 3 vertical and 3 horizontal dots. It is a grid-like pattern.
  • the 25 arrangement patterns in this example are a combination of patterns that do not include the same dot arrangement pattern in duplicate and do not overlap each other when translated in the dot arrangement area.
  • each arrangement pattern is assigned a unique number from 15 to 39.
  • FIG. In the selection process by the dot pattern generator 11, one of 15 to 39 is randomly generated, and the arrangement pattern corresponding to the generated numerical value is selected.
  • FIG. 7 is an explanatory diagram explaining an example of setting density information for each area and an example of a dot arrangement method corresponding to at least one embodiment of the present invention.
  • the range for generating a dot pattern is divided into six areas by concentric circles, and for each area, a first group (expressed as [1] in FIG. 7) with a high dot arrangement density and a dot arrangement density 7 shows an example in which the selection ratio is set for the second group (expressed as [2] in FIG. 7) with a low .
  • FIG. 8 is an image diagram showing an example of a dot pattern generated based on the setting of density information for each area and the dot arrangement method corresponding to at least one embodiment of the present invention.
  • FIG. 8 shows an example in which a dot pattern is generated by selecting an arrangement pattern from two groups based on the setting of density information for each area shown in FIG.
  • FIG. 8 it is possible to generate a dot pattern in which the dot arrangement density is high in the central portion and the dot arrangement density decreases as the distance from the center increases.
  • the amount of light in the photographed image data becomes relatively uniform, so that the photographed image does not saturate the dynamic range of the camera. Data can be acquired.
  • the dot pattern generation method in order to perform three-dimensional measurement by calculating parallax information by stereo matching, a dot pattern projected onto an object with projection light is generated.
  • the dot pattern generation range is divided into at least two regions according to the distance from the irradiation center of the projection light, and the distance from the irradiation center of the projection light is far.
  • a dot pattern generation procedure for generating a dot pattern by arranging dots for each of a plurality of areas based on the obtained density information. It is possible to generate a dot pattern in which the density is increased and the dot arrangement density decreases as the distance from the projection light irradiation center increases. By projecting the projection light using the dot pattern generated in this way and performing photographing for three-dimensional measurement, the amount of light in the photographed image data becomes relatively uniform, so that the photographed image does not saturate the dynamic range of the camera. Data can be obtained.
  • the dot pattern generation procedure includes determination processing for determining a plurality of reference positions according to rules determined by the Poisson disk sampling algorithm, and arrangement for each of the reference positions.
  • a dot pattern is formed by a selection process of selecting one from a plurality of arrangement patterns indicating at least one or more dot arrangements, and an arrangement process of arranging dots based on the arrangement pattern selected for each of the reference positions; is generated, and at least two or more groups are set in advance by classifying the arrangement patterns according to the arrangement density of dots, and the selection process selects from which group the arrangement pattern to be arranged in each area for each area.
  • the arrangement pattern to be arranged at each reference position is selected based on a predetermined selection rule that determines whether the By appropriately adjusting the group for selecting the arrangement pattern for each area, such as the area for selecting the arrangement pattern, as a result, the area near the irradiation center of the projection light has a high dot arrangement density, and the area near the irradiation center of the projection light is increased. It is possible to generate a dot pattern in which the dot placement density decreases with increasing distance from .
  • the selection rule defines the selection ratio from a plurality of groups for the arrangement pattern to be arranged in each area, so that the density information determined in the area is reflected. Therefore, by setting the ratio of selecting an arrangement pattern from a group with a high dot arrangement density and the ratio of selecting an arrangement pattern from a group with a low dot arrangement density in each area, as a result, the projection light irradiation It is possible to generate a dot pattern in which the dot arrangement density is high in the area near the center and the dot arrangement density decreases as the distance from the projection light irradiation center increases.
  • the plurality of arrangement patterns overlap each other when translated in the dot arrangement area regarding which part of the dot arrangement area set in advance to place the dots. Since a combination of non-patterns is used, it is possible to reduce the possibility of erroneous identification in identifying corresponding locations in stereo matching.
  • a three-dimensional measuring apparatus is a three-dimensional measuring apparatus for performing three-dimensional measurement on an object, and includes a dot pattern generation unit that generates a dot pattern based on any of the dot pattern generation methods described above.
  • a dot pattern projection control unit for controlling a projection device so as to project the projection light composed of the dot pattern onto the object;
  • a photographed image acquisition unit that acquires two photographed images by controlling a photographing device, a parallax information calculation unit that calculates parallax information for the two photographed images obtained, and based on the calculated parallax information and a three-dimensional shape specifying unit for specifying the three-dimensional shape of the object. Therefore, it is possible to obtain photographed image data that does not cause blown-out highlights or blocked-up shadows without saturating the dynamic range of the camera. As a result, it is possible to improve the accuracy of identifying corresponding locations in stereo matching.
  • the three-dimensional measurement apparatus 10 has a dot pattern generation processing unit that generates the dot pattern of the present example in advance and stores it in a predetermined storage unit instead of generating the dot pattern of the present example in real time in the dot pattern generation unit 11. may be provided.
  • the dot pattern projection control unit 12 reads out the dot pattern of the present example from the storage unit and controls the projection device 20 to project the projection light composed of the dot pattern of the present example onto the object.
  • the dot pattern may be stored as an image file, or may be stored in the device after the dot pattern is printed on a photomask.
  • the dot pattern generation unit 11 performs a determination process of determining a plurality of reference positions according to a rule determined by a Poisson disk sampling algorithm, and arranges for each of the reference positions. Therefore, a selection process for selecting one from a plurality of arrangement patterns indicating at least one or more dot arrangements, and an arrangement process for arranging dots based on the arrangement pattern selected for each of the reference positions.
  • a pattern may be generated, and the determination processing may determine the placement density of the reference positions to be placed within the area based on the density information determined for each area.
  • the range for generating the dot pattern is divided into a plurality of areas, and the reference position density is increased in the area near the center, and the reference position density decreases as the area moves away from the center.
  • the present invention is not limited to this. That is, as long as it is possible to generate a dot pattern such that the dot density near the center of the dot pattern generation range is high and the dot density gradually decreases as the distance from the center increases, the generation method using the arrangement pattern is not limited. .
  • dots near the center of the dot pattern generation range A method of generating a dot pattern having a high density and gradually lowering the dot density away from the center may be used.
  • REFERENCE SIGNS LIST 10 three-dimensional measurement device 11 dot pattern generation unit 12 dot pattern projection control unit 13 captured image acquisition unit 14 parallax information calculation unit 15 three-dimensional shape identification unit 16 storage unit 20 projection device 30 imaging device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

投影領域を均一な光量で照射可能とするために、ステレオマッチングによって視差情報を算出して３次元計測を行うために、対象物に対して投影光によって投影するドットパターンを生成するためのドットパターン生成方法であって、ドットパターンの生成範囲について、投影光の照射中心からの距離に応じて少なくとも２以上に領域を分割する領域分割手順と、投影光の照射中心からの距離が遠くなる毎に各領域に配置するドットの密度が徐々に低くなるように、複数の領域のそれぞれに設定するドットの密度情報を決定する密度決定手順と、ポアソンディスクサンプリングのアルゴリズムにより定まる規則と決定された密度情報とに基づいて、複数の領域のそれぞれに対してドットを配置してドットパターンを生成するドットパターン生成手順とを含むようにした。

Description

ドットパターン生成方法及び３次元計測装置
　本発明は、対象物の３次元計測に係るドットパターン生成方法及び３次元計測装置に関する。
　従来から、対象物を２方向から撮影した２つの撮影画像に基づき三角測量の原理で対象物の３次元形状を計測する装置が用いられている。ここで、三角測量の原理を用いる場合、２つの撮影画像間で対応する対応個所を特定する必要がある。対応個所の特定方法として、２つの撮影画像における小領域の輝度情報を比較する方法がある。しかし、対象物に平坦な部分や色の変化が少ない部分等が存在する場合などにおいて、対応個所の特定を高精度に行うことが困難となる状況が発生し得た。
　当該状況への対策として、所定パターンからなる投影光を対象物に投影して対応個所の特定に利用する方法が存在する。例えば、特許文献１では、２つの撮影画像間の対応個所の特定が正確にできないと判断された場合に、パターン投影機により特定パターン形状の光を投影し、特定パターン形状の明暗を利用して対応個所を特定し視差情報を算出する技術が開示されている。
特公平４－２５７５８号公報
　ところで、ステレオマッチングにおける対応個所の特定を目的として対象物に投影される投影光の明暗パターンとしては、ランダムドットパターンが一般的である。ドットパターンを対象物に投影するために光源を用いるが、光源がＬＥＤなどの点光源である場合、投影光による照射範囲の中心は光量が多くなり、中心から遠ざかるにつれて光量が少なくなる。そのような光量に差のある状態を撮影する場合、カメラのダイナミックレンジが狭いと飽和してしまい、白飛びや黒潰れが生じてしまうおそれがある。白飛びや黒潰れが生じた撮影画像では、ステレオマッチングにおける対応個所の特定の精度が低下してしまうという問題があった。
　本発明は、上記問題点に鑑みなされたものであり、ドットパターンを照射するための光源がＬＥＤのような点光源であっても投影領域を均一な光量で照射可能とするためのドットパターン生成方法及び３次元計測装置を提供することを目的とする。
　本発明に係るドットパターン生成方法は、ステレオマッチングによって視差情報を算出して３次元計測を行うために、前記対象物に対して投影光によって投影するドットパターンを生成するためのドットパターン生成方法であって、前記ドットパターンの生成範囲について、前記投影光の照射中心からの距離に応じて少なくとも２以上に領域を分割する領域分割手順と、前記投影光の照射中心からの距離が遠くなる毎に各領域に配置するドットの密度が徐々に低くなるように、複数の前記領域のそれぞれに設定するドットの密度情報を決定する密度決定手順と、ポアソンディスクサンプリングのアルゴリズムにより定まる規則と決定された前記密度情報とに基づいて、複数の前記領域のそれぞれに対してドットを配置してドットパターンを生成するドットパターン生成手順とを含むことを特徴とする。
　また、本発明に係るドットパターン生成方法において、さらに、前記ドットパターン生成手順は、ポアソンディスクサンプリングのアルゴリズムにより定まる規則に従って複数の基準位置を決定する決定処理と、前記基準位置のそれぞれに対して配置するために、少なくとも１つ以上のドット配置を示す複数の配置パターンから何れかを選択する選択処理と、前記基準位置のそれぞれに対して選択された前記配置パターンに基づいてドットを配置する配置処理とによってドットパターンを生成するものとし、ドットの配置密度に応じて前記配置パターンを分類した少なくとも２以上のグループを予め設定し、前記選択処理は、前記領域毎にその領域内に配置する前記配置パターンについて何れの前記グループから選択するかを定めた所定の選択規則に基づいて、各基準位置に配置する前記配置パターンを選択することを特徴としてもよい。
　また、本発明に係るドットパターン生成方法において、さらに、前記選択規則は、各領域内に配置する前記配置パターンについて、複数の前記グループからの選択比率を定めることで、その領域に定められた前記密度情報を反映させることを特徴としてもよい。
　また、本発明に係るドットパターン生成方法において、さらに、前記ドットパターン生成手順は、ポアソンディスクサンプリングのアルゴリズムにより定まる規則に従って複数の基準位置を決定する決定処理と、前記基準位置のそれぞれに対して配置するために、少なくとも１つ以上のドット配置を示す複数の配置パターンから何れかを選択する選択処理と、前記基準位置のそれぞれに対して選択された前記配置パターンに基づいてドットを配置する配置処理とによってドットパターンを生成するものとし、前記決定処理は、前記領域毎に定められた前記密度情報に基づいて、その領域内に配置する前記基準位置の配置密度を決定することを特徴としてもよい。
　また、本発明に係るドットパターン生成方法において、さらに、前記複数の配置パターンは、予め設定したドット配置領域のうち何れの個所にドットを配置するかについて、前記ドット配置領域内において平行移動した際に互いに重複するパターンとならないものの組み合わせであることを特徴としてもよい。
　本発明に係る３次元計測装置は、対象物に対する３次元計測を行うための３次元計測装置であって、上記何れかのドットパターン生成方法に基づいてドットパターンを生成するドットパターン生成部と、前記ドットパターンからなる投影光を前記対象物に対して投影させるように投影装置を制御するドットパターン投影制御部と、前記投影光が投影された前記対象物を２方向から撮影するように撮影装置を制御して、２つの撮影画像を取得する撮影画像取得部と、取得された前記２つの撮影画像について、視差情報を算出する視差情報算出部と、算出された前記視差情報に基づいて、前記対象物の３次元形状を特定する３次元形状特定部とを備えることを特徴とする。
　本発明に係る３次元計測装置は、対象物に対する３次元計測を行うための３次元計測装置であって、上記何れかのドットパターン生成方法に基づいてドットパターンを予め生成して所定の記憶部に記憶させておくドットパターン生成処理部と、前記記憶部から前記ドットパターンを読み出し、当該ドットパターンからなる投影光を前記対象物に対して投影させるように投影装置を制御するドットパターン投影制御部と、前記投影光が投影された前記対象物を２方向から撮影するように撮影装置を制御して、２つの撮影画像を取得する撮影画像取得部と、取得された前記２つの撮影画像について、視差情報を算出する視差情報算出部と、算出された前記視差情報に基づいて、前記対象物の３次元形状を特定する３次元形状特定部とを備えることを特徴とする。
　本発明によれば、中心部分のドットの密度が高くて中心から離れるにつれてドットの密度が低下するようにドットパターンを生成することができるため、このドットパターンを用いることで、ＬＥＤなどの点光源を用いた投影光であっても、投影領域が均一な光量で照射されるので、カメラのダイナミックレンジが狭くても飽和することなく、安定してステレオマッチングを行うことが可能となる。
本発明の実施の形態の少なくとも１つに対応する３次元計測装置の構成の一例を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する３次元計測処理の流れの一例を示すフローチャート図である。 本発明の実施の形態の少なくとも１つに対応する本例のドットパターン生成の大まかな流れの一例を示すフローチャート図である。 本発明の実施の形態の少なくとも１つに対応する本例のドットパターン生成手順の流れの一例を示すフローチャート図である。 本発明の実施の形態の少なくとも１つに対応する第１グループに属する配置パターンの例について説明した説明図である。 本発明の実施の形態の少なくとも１つに対応する第２グループに属する配置パターンの例について説明した説明図である。 本発明の実施の形態の少なくとも１つに対応する領域毎の密度情報の設定及びドット配置手法の例について説明した説明図である。 本発明の実施の形態の少なくとも１つに対応する領域毎の密度情報の設定及びドット配置手法に基づいて生成したドットパターンの一例を表した画像図である。
［第１の実施の形態］
　以下、図面を参照しながら、本発明の第１の実施の形態に係る３次元計測装置の例について説明する。
　図１は、本発明の実施の形態の少なくとも１つに対応する３次元計測装置の構成の一例を示すブロック図である。図１に示すように、３次元計測装置１０は、ドットパターン生成部１１と、ドットパターン投影制御部１２と、撮影画像取得部１３と、視差情報算出部１４と、３次元形状特定部１５と、記憶部１６とを備える。
　３次元計測装置１０は、対象物に対する３次元計測を行うための装置である。具体的には、３次元計測装置１０は、対象物に対し投影光を投影して撮影し、当該投影光が投影された対象物の撮影画像に基づいて当該対象物の３次元形状を特定する装置である。なお、３次元計測装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）と、メモリと、ハードディスクドライブ、ＳＳＤ等のストレージとを備えており、また、マウス、キーボード等の入力装置と、ディスプレイ、プリンタ等の出力装置と、通信ネットワークと接続するための通信装置とを備えており、これらがバスを介して接続されている構成であってよい。３次元計測装置１０の各部における処理は、これらの各部における処理を実行するためのプログラムをメモリから読み込んで制御回路（Processing circuit、Processing circuitry）として機能するＣＰＵやＧＰＵあるいはＦＰＧＡにおいて実行することで実現する。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、各装置の各処理を実行できるように構成される。
　３次元計測装置１０は、３次元計測において投影装置２０及び撮影装置３０を利用する。
本例では、３次元計測装置１０は、専用マシンとして実現され、投影装置２０と、撮影装置３０とを内部に一体として備えるものとして説明を行う。勿論、３次元計測装置１０は、必ずしも投影装置２０と撮影装置３０とを内部に備えている必要はなく、外部の投影装置２０及び／又は撮影装置３０を利用してもよい。
　投影装置２０は、対象物に投影光を投影するための装置である。投影装置２０の例には、プロジェクタやディスプレイがある。撮影装置３０は、対象物を２方向から撮影するための装置である。例えば、撮影装置３０は、３次元計測装置１０の内部に対象物を２方向から撮影できる部分に２台備えられる。他にも、撮影装置３０は、例えば３次元計測装置１０から独立した外部の装置である場合、互いに独立した２台の装置や自装置の内部に２つの撮影用光学系を備えた１台の装置である。撮影装置３０の例には、ステレオカメラがある。
　ドットパターン生成部１１は、所定の生成手法に基づいてドットパターンを生成する機能を有する。ドットパターン生成部１１が生成するドットパターンは、投影装置２０により投影される投影光の明暗の切り替わりを示すパターンであって、ドットの配置により示される２次元のパターンである。なお、個々のドットの形状は特に限定されず、丸型でもよいし四角型でもよい。具体的なドットパターンの生成方法については後述する。また、このドットパターン生成部１１において生成される本例特有のドットパターンについて、以下、「本例ドットパターン」と称する。
　ドットパターン投影制御部１２は、本例ドットパターンからなる投影光を対象物に対して投影させるように投影装置２０を制御する機能を有する。ここで、対象物に投影光が投影された場合の本例ドットパターンにおけるドットに対応する部分は、当該ドット以外に対応する部分と比較して輝度が高い部分（明部）となってもよいし輝度が低い部分（暗部）となってもよい。なお、本例では、ドットパターン投影制御部１２による投影処理は、投影装置２０を制御することにより実行される。
　撮影画像取得部１３は、投影光が投影された対象物を２方向から撮影するように撮影装置３０を制御して、２つの撮影画像を取得する機能を有する。本例では、撮影画像取得部１３による２方向からの撮影処理は、３次元計測装置１０の内部に備えられた撮影装置３０を制御することにより実行される。なお、２方向からの撮影において双方の画角に、投影光が投影された部分の対象物が収まるような状態で撮影装置３０による撮影が行われる。
　視差情報算出部１４は、取得された２つの撮影画像について、視差情報を算出する機能を有する。具体的には、視差情報算出部１４は、撮影画像取得部１３により取得された２つの撮影画像について、一方の撮影画像の所定個所に対応する他方の撮影画像中の個所を特定し、それぞれの個所の画素位置間の距離情報を視差情報として算出する処理を行う。例えば、所定個所は、撮影画像における所定位置の１画素である。そして、視差情報算出部１４は、例えば、撮影画像における所定位置の１画素に対応する他方の撮影画像中の１画素を特定すると、対応を特定した２つの画素の画素位置間の距離を示す情報を視差情報として算出する。ここで、画素位置とは、複数の画素からなる撮影画像中の各画素に対応する位置をいう。
　視差情報算出部１４は、一方の撮影画像の所定個所に対応する他方の撮影画像中の個所を特定する際に撮影画像の輝度情報を利用してもよい。撮影画像の輝度情報は、例えば画素ごとに存在している。ここで、撮影画像の所定個所を基準とする所定範囲内の画素の輝度情報が利用されてもよい。例えば、視差情報算出部１４は、撮影画像の所定位置の１画素を中心とした所定範囲内に位置する所定数の画素（例えば、所定位置の画素を中心とする縦３横３の合計９画素）の輝度情報を利用する。
　ここで、一方の撮影画像の所定個所に対応する他方の撮影画像中の個所を特定する際の輝度情報の利用方法の一例を説明する。まず、所定位置の１画素の輝度と、当該１画素を中心とした所定範囲内に位置する複数の画素の輝度との高低を比較して２値化したバイナリベクトルデータを生成する。そして、当該データについての撮影画像間でのハミング距離に基づいて、一方の撮影画像の所定個所に対応する他方の撮影画像の個所を特定する。以上が輝度情報の利用方法の一例である。
　３次元形状特定部１５は、算出された視差情報に基づいて、対象物の３次元形状を特定する機能を有する。ここで、３次元形状特定部１５は、対象物の３次元形状の特定に際し、三角測量の原理を利用する。３次元形状特定部１５は、例えば、視差情報算出部１４により算出された画素位置間の距離を示す情報に基づいて、撮影装置３０から、対象物中の各個所までの距離情報を三角測量の原理を利用してそれぞれ算出し、算出した距離情報に基づいて対象物の３次元形状を特定する。
　記憶部１６は、３次元計測装置１０における各部の処理に必要な情報を記憶し、また、各部の処理で生じた各種の情報を記憶する機能を有する。
　図２は、本発明の実施の形態の少なくとも１つに対応する３次元計測処理の流れの一例を示すフローチャート図である。図２を参照して、本発明の実施の形態の少なくとも１つに対応する３次元計測装置１０における３次元計測処理の流れについて説明を行う。
　この図２において、３次元計測処理は、３次元計測装置１０において、本例ドットパターンを生成することによって開始される（ステップＳ１０１）。本例ドットパターンの生成方法の詳細な流れについては、図３及び図４を用いて説明する。次に、３次元計測装置１０は、本例ドットパターンからなる投影光を対象物に対して投影させるように投影装置２０を制御する（ステップＳ１０２）。次に、３次元計測装置１０は、対象物を２方向から撮影するように撮影装置３０を制御して２つの撮影画像を取得する（ステップＳ１０３）。次に、３次元計測装置１０は、２つの撮影画像について視差情報を算出する（ステップＳ１０４）。最後に、３次元計測装置１０は、視差情報に基づいて対象物の３次元形状を特定し（ステップＳ１０５）、処理は終了する。
［ドットパターン生成方法］
　次に、本例ドットパターンの生成方法について詳細に説明を行う。
　図３は、本発明の実施の形態の少なくとも１つに対応する本例ドットパターンの生成の大まかな流れの一例を示すフローチャート図である。この図３に示すように、本例ドットパターンの生成は、３次元計測装置１０において、ドットパターンの生成範囲について、投影光の照射中心からの距離に応じて少なくとも２以上に領域を分割すること（領域分割手順）によって開始される（ステップＳ２０１）。照射中心からの距離に応じて領域を分割できればどのような分割手法であってもよいが、例えば、回転半径を異ならせた複数の同心円によって複数に領域を分割することが考えられる。次に、３次元計測装置１０は、投影光の照射中心からの距離が遠くなる毎に各領域に配置するドットの密度が徐々に低くなるように、複数の領域のそれぞれに設定するドットの密度情報を決定する（密度決定手順）（ステップＳ２０２）。密度情報の指定の方法はどのようなものであってもよく、具体的なドット密度を数値として指定する手法であってもよいし、領域間の相対的な密度の関係を「高密度」「中密度」「低密度」というように指定する手法であってもよい。そして、３次元計測装置１０は、ポアソンディスクサンプリングのアルゴリズムにより定まる規則と決定された密度情報とに基づいて、複数の領域のそれぞれに対してドットを配置することで本例ドットパターンを生成して（ドットパターン生成手順）（ステップＳ２０３）、生成処理を終了する。
　図４は、本発明の実施の形態の少なくとも１つに対応する本例のドットパターン生成手順の流れの一例を示すフローチャート図である。この図４で説明する流れは、図３のステップＳ２０３であるドットパターン生成手順のより詳細な流れの一例である。この図４に示すように、ドットパターン生成手順は、３次元計測装置１０において、ポアソンディスクサンプリングのアルゴリズムにより定まる規則に従って各領域のそれぞれに対して複数の基準位置を決定することによって開始される（ステップＳ３０１）。次に、複数の基準位置のそれぞれに対して配置パターンに基づくドット配置を行うために、３次元計測装置１０は、ドットの配置密度の高い配置パターンを複数属させた第１グループと、ドットの配置密度の低い配置パターンを複数属させた第２グループとを設定し、領域に設定された密度情報に応じて、何れのグループから配置パターンを選択するかを決定する（ステップＳ３０２）。このとき、領域毎に第１グループと第２グループの選択比率を予め定めておくようにする。次に、３次元計測装置１０は、決定されたグループの中から配置パターンを選択する（ステップＳ３０３）。このとき選択する配置パターンは、ランダムに決定されることが好ましい。次に、３次元計測装置１０は、選択された配置パターンに従って、基準位置にドットを配置する（ステップＳ３０４）。このようにして、３次元計測装置１０は、１つの基準位置に対してステップＳ３０２～Ｓ３０４を実行してドットを配置する処理を、全ての基準位置についてドット配置が完了するまで繰り返す（ステップＳ３０５）。そして、３次元計測装置１０は、全ての基準位置についてドット配置が完了したときに（Ｓ３０５－Ｙ）、ドットパターン生成手順を終了する。
　図５は、本発明の実施の形態の少なくとも１つに対応する第１グループ（ドット配置密度が高いグループ）に属する配置パターンの例について説明した説明図である。図５には、ドットパターン生成部１１におけるドットパターン生成手順において選択候補となる配置パターンの例が示されている。図５に示す例では、第１グループに属する配置パターンは全部で１４種存在し、それぞれが縦３横３の最大９個のドットを配置できるドット配置領域に５個のドットが配置される格子状パターンである。本例における１５種の配置パターンは、同一のドット配置のパターンが重複して含まれず、さらにドット配置領域内において平行移動した際に互いに重複するパターンとならないものの組み合わせである。また、本例では、各配置パターンには０～１４の固有の番号が振られている。ドットパターン生成部１１による選択処理においては、０～１４の何れかが乱数生成され、生成された数値に対応する配置パターンが選択される。なお、配置パターンにより隣接して２つのドットが配置されるよう示されている場合、ドットパターン投影制御部１２により投影された投影光における当該２つのドットは、連続していてもよいし所定距離離れていてもよい。
　図６は、本発明の実施の形態の少なくとも１つに対応する第２グループ（ドット配置密度が低いグループ）に属する配置パターンの例について説明した説明図である。図６には、ドットパターン生成部１１におけるドットパターン生成手順において選択候補となる配置パターンの例が示されている。図６に示す例では、第２グループに属する配置パターンは全部で２５種存在し、それぞれが縦３横３の最大９個のドットを配置できるドット配置領域に１～３個のドットが配置される格子状パターンである。本例における２５種の配置パターンは、同一のドット配置のパターンが重複して含まれず、さらにドット配置領域内において平行移動した際に互いに重複するパターンとならないものの組み合わせである。また、本例では、各配置パターンには１５～３９の固有の番号が振られている。ドットパターン生成部１１による選択処理においては、１５～３９の何れかが乱数生成され、生成された数値に対応する配置パターンが選択される。
　図７は、本発明の実施の形態の少なくとも１つに対応する領域毎の密度情報の設定及びドット配置手法の例について説明した説明図である。この図７は、ドットパターンを生成する範囲を同心円によって６つの領域に分割して、各領域に対して、ドット配置密度が高い第１グループ（図７では［１］と表現）とドット配置密度が低い第２グループ（図７では［２］と表現）の選択比率を設定した一例を表している。この図７に示す例では、ドットパターンの生成範囲の中心は、［１］：［２］＝１００：０というように、１００％の比率で第１グループから配置パターンが選択されるように選択比率を設定しておくことで、密度情報を設定している。同様にして、中心から遠ざかるにつれて、［１］：［２］＝８０：２０、［１］：［２］＝６０：４０、［１］：［２］＝４０：６０、［１］：［２］＝２０：８０、［１］：［２］＝０：１００というように、徐々に第２グループの比率が高くなるように選択比率を設定することで、それぞれの領域についての密度情報を設定している。
　図８は、本発明の実施の形態の少なくとも１つに対応する領域毎の密度情報の設定及びドット配置手法に基づいて生成したドットパターンの一例を表した画像図である。この図８は、図７に示す領域毎の密度情報の設定に基づいて２つのグループから配置パターンを選択してドットパターンを生成した例を表している。この図８からも分かるように、中心部分はドット配置密度が高く、中心から離れるにつれてドット配置密度が低くなるドットパターンを生成することが可能となる。このように生成したドットパターンを用いた投影光を投影して３次元計測のための撮影を行うことで、撮影画像データにおける光量が比較的均一となるので、カメラのダイナミックレンジを飽和させない撮影画像データを取得することが可能となる。
　以上のように、本発明に係るドットパターン生成方法によれば、ステレオマッチングによって視差情報を算出して３次元計測を行うために、対象物に対して投影光によって投影するドットパターンを生成するためのドットパターン生成方法であって、ドットパターンの生成範囲について、投影光の照射中心からの距離に応じて少なくとも２以上に領域を分割する領域分割手順と、投影光の照射中心からの距離が遠くなる毎に各領域に配置するドットの密度が徐々に低くなるように、複数の前記領域のそれぞれに設定するドットの密度情報を決定する密度決定手順と、ポアソンディスクサンプリングのアルゴリズムにより定まる規則と決定された密度情報とに基づいて、複数の領域のそれぞれに対してドットを配置してドットパターンを生成するドットパターン生成手順とを含むようにしたので、投影光の照射中心に近い領域はドット配置密度を高くし、投影光の照射中心から離れるにつれてドット配置密度が低くなるドットパターンを生成することが可能となる。このように生成したドットパターンを用いた投影光を投影して３次元計測のための撮影を行うことで、撮影画像データにおける光量が比較的均一となるので、カメラのダイナミックレンジを飽和させない撮影画像データを取得することが可能となる。
　また、本発明に係るドットパターン生成方法によれば、ドットパターン生成手順は、ポアソンディスクサンプリングのアルゴリズムにより定まる規則に従って複数の基準位置を決定する決定処理と、基準位置のそれぞれに対して配置するために、少なくとも１つ以上のドット配置を示す複数の配置パターンから何れかを選択する選択処理と、基準位置のそれぞれに対して選択された配置パターンに基づいてドットを配置する配置処理とによってドットパターンを生成するものとし、ドットの配置密度に応じて配置パターンを分類した少なくとも２以上のグループを予め設定し、選択処理は、領域毎にその領域内に配置する配置パターンについて何れのグループから選択するかを定めた所定の選択規則に基づいて、各基準位置に配置する配置パターンを選択するようにしたので、ドット配置密度が高いグループから配置パターンを選択する領域と、ドット配置密度が低いグループから配置パターンを選択する領域といったように、領域毎に配置パターンを選択するグループを適宜調整することで、結果として、投影光の照射中心に近い領域はドット配置密度を高くし、投影光の照射中心から離れるにつれてドット配置密度が低くなるドットパターンを生成することが可能となる。
　また、本発明に係るドットパターン生成方法は、選択規則は、各領域内に配置する配置パターンについて、複数のグループからの選択比率を定めることで、その領域に定められた密度情報を反映させるようにしたので、ドット配置密度が高いグループから配置パターンを選択する比率とドット配置密度が低いグループから配置パターンを選択する比率とをそれぞれの領域にて設定することで、結果として、投影光の照射中心に近い領域はドット配置密度を高くし、投影光の照射中心から離れるにつれてドット配置密度が低くなるドットパターンを生成することが可能となる。
　また、本発明に係るドットパターン生成方法は、複数の配置パターンは、予め設定したドット配置領域のうち何れの個所にドットを配置するかについて、ドット配置領域内において平行移動した際に互いに重複するパターンとならないものの組み合わせとしたので、ステレオマッチングにおける対応個所の特定において、特定を誤る可能性を低減させることが可能となる。
　また、本発明に係る３次元計測装置は、対象物に対する３次元計測を行うための３次元計測装置であって、上記何れかのドットパターン生成方法に基づいてドットパターンを生成するドットパターン生成部と、前記ドットパターンからなる投影光を前記対象物に対して投影させるように投影装置を制御するドットパターン投影制御部と、前記投影光が投影された前記対象物を２方向から撮影するように撮影装置を制御して、２つの撮影画像を取得する撮影画像取得部と、取得された前記２つの撮影画像について、視差情報を算出する視差情報算出部と、算出された前記視差情報に基づいて、前記対象物の３次元形状を特定する３次元形状特定部とを備えるようにしたので、カメラのダイナミックレンジを飽和させずに、白飛びや黒潰れが生じない撮影画像データを取得することが可能となり、結果として、ステレオマッチングにおける対応個所の特定精度を向上させることが可能となる。
　なお、３次元計測装置１０は、ドットパターン生成部１１においてリアルタイムに本例ドットパターンを生成する代わりに、本例ドットパターンを予め生成して所定の記憶部に記憶させておくドットパターン生成処理部を備えていてもよい。その場合、ドットパターン投影制御部１２は、当該記憶部から本例ドットパターンを読み出し、当該本例ドットパターンからなる投影光を対象物に対して投影させるように投影装置２０を制御する。ドットパターンの記憶方法は、画像ファイルとして保存するほか、たとえばフォトマスクにドットパターンを印刷したものを装置内に保管するような方法であってもよい。
　［第２の実施の形態］
　第２の実施の形態に係るドットパターン生成部１１は、ドットパターン生成手順において、ポアソンディスクサンプリングのアルゴリズムにより定まる規則に従って複数の基準位置を決定する決定処理と、基準位置のそれぞれに対して配置するために、少なくとも１つ以上のドット配置を示す複数の配置パターンから何れかを選択する選択処理と、基準位置のそれぞれに対して選択された配置パターンに基づいてドットを配置する配置処理とによってドットパターンを生成するものとし、決定処理は、領域毎に定められた密度情報に基づいて、その領域内に配置する基準位置の配置密度を決定するようにしてもよい。
　すなわち、ドットパターンを生成する範囲を複数の領域に分割して、中心に近い領域は基準位置の配置密度を高くし、領域が中心から離れるにつれて基準位置の配置密度が低くなるように、基準位置の配置調整することで、投影光の照射中心に近い領域はドット配置密度を高くし、投影光の照射中心から離れるにつれてドット配置密度が低くなるドットパターンを生成することが可能となる。
　なお、第１及び第２の実施の形態においては、先ず基準位置を決定し、決定した基準位置に対して配置パターンに基づくドット配置を行うという手順によってドットパターンを生成するものとして説明を行ったが、本発明はこれに限定されるものではない。すなわち、ドットパターン生成範囲における中心付近のドット密度が高く、中心から離れるにつれてドット密度が徐々に低くなるようにドットパターンを生成することが可能であれば、配置パターンを用いた生成方法に限定されない。例えば、ポアソンディスクサンプリングのアルゴリズムにより直接ドットを配置する手法を採用し、領域毎に設定された密度情報に基づいてドット配置の密度を調整することで、結果としてドットパターン生成範囲における中心付近のドット密度が高く、中心から離れるにつれてドット密度が徐々に低くなるようにドットパターンを生成する手法であってもよい。
　１０　　　　　　　３次元計測装置
　１１　　　　　　　ドットパターン生成部
　１２　　　　　　　ドットパターン投影制御部
　１３　　　　　　　撮影画像取得部
　１４　　　　　　　視差情報算出部
　１５　　　　　　　３次元形状特定部
　１６　　　　　　　記憶部
　２０　　　　　　　投影装置
　３０　　　　　　　撮影装置

 

Claims (7)

  1. 　ステレオマッチングによって視差情報を算出して３次元計測を行うために、前記対象物に対して投影光によって投影するドットパターンを生成するためのドットパターン生成方法であって、
    　前記ドットパターンの生成範囲について、前記投影光の照射中心からの距離に応じて少なくとも２以上に領域を分割する領域分割手順と、
    　前記投影光の照射中心からの距離が遠くなる毎に各領域に配置するドットの密度が徐々に低くなるように、複数の前記領域のそれぞれに設定するドットの密度情報を決定する密度決定手順と、
    　ポアソンディスクサンプリングのアルゴリズムにより定まる規則と決定された前記密度情報とに基づいて、複数の前記領域のそれぞれに対してドットを配置してドットパターンを生成するドットパターン生成手順と
    　を含むドットパターン生成方法。
  2. 　前記ドットパターン生成手順は、
    　ポアソンディスクサンプリングのアルゴリズムにより定まる規則に従って複数の基準位置を決定する決定処理と、
    　前記基準位置のそれぞれに対して配置するために、少なくとも１つ以上のドット配置を示す複数の配置パターンから何れかを選択する選択処理と、
    　前記基準位置のそれぞれに対して選択された前記配置パターンに基づいてドットを配置する配置処理と
    　によってドットパターンを生成するものとし、
    　ドットの配置密度に応じて前記配置パターンを分類した少なくとも２以上のグループを予め設定し、
    　前記選択処理は、前記領域毎にその領域内に配置する前記配置パターンについて何れの前記グループから選択するかを定めた所定の選択規則に基づいて、各基準位置に配置する前記配置パターンを選択する
    　請求項１記載のドットパターン生成方法。
  3. 　前記選択規則は、各領域内に配置する前記配置パターンについて、複数の前記グループからの選択比率を定めることで、その領域に定められた前記密度情報を反映させる
    　請求項２記載のドットパターン生成方法。
  4. 　前記ドットパターン生成手順は、
    　ポアソンディスクサンプリングのアルゴリズムにより定まる規則に従って複数の基準位置を決定する決定処理と、
    　前記基準位置のそれぞれに対して配置するために、少なくとも１つ以上のドット配置を示す複数の配置パターンから何れかを選択する選択処理と、
    　前記基準位置のそれぞれに対して選択された前記配置パターンに基づいてドットを配置する配置処理と
    　によってドットパターンを生成するものとし、
    　前記決定処理は、前記領域毎に定められた前記密度情報に基づいて、その領域内に配置する前記基準位置の配置密度を決定する
    　請求項１記載のドットパターン生成方法。
  5. 　前記複数の配置パターンは、予め設定したドット配置領域のうち何れの個所にドットを配置するかについて、前記ドット配置領域内において平行移動した際に互いに重複するパターンとならないものの組み合わせである
    　請求項２から請求項４の何れか一項に記載のドットパターン生成方法。
  6. 　対象物に対する３次元計測を行うための３次元計測装置であって、
    　請求項１から請求項５の何れか一項に記載のドットパターン生成方法に基づいてドットパターンを生成するドットパターン生成部と、
    　前記ドットパターンからなる投影光を前記対象物に対して投影させるように投影装置を制御するドットパターン投影制御部と、
    　前記投影光が投影された前記対象物を２方向から撮影するように撮影装置を制御して、２つの撮影画像を取得する撮影画像取得部と、
    　取得された前記２つの撮影画像について、視差情報を算出する視差情報算出部と、
    　算出された前記視差情報に基づいて、前記対象物の３次元形状を特定する３次元形状特定部とを
    　備える３次元計測装置。
  7. 　対象物に対する３次元計測を行うための３次元計測装置であって、
    　請求項１から請求項５の何れか一項に記載のドットパターン生成方法に基づいてドットパターンを予め生成して所定の記憶部に記憶させておくドットパターン生成処理部と、
    　前記記憶部から前記ドットパターンを読み出し、当該ドットパターンからなる投影光を前記対象物に対して投影させるように投影装置を制御するドットパターン投影制御部と、
    　前記投影光が投影された前記対象物を２方向から撮影するように撮影装置を制御して、２つの撮影画像を取得する撮影画像取得部と、
    　取得された前記２つの撮影画像について、視差情報を算出する視差情報算出部と、
    　算出された前記視差情報に基づいて、前記対象物の３次元形状を特定する３次元形状特定部とを
    　備える３次元計測装置。

     
PCT/JP2023/007197 2022-03-01 2023-02-28 ドットパターン生成方法及び３次元計測装置 WO2023167162A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-031209 2022-03-01
JP2022031209 2022-03-01

Publications (1)

Publication Number Publication Date
WO2023167162A1 true WO2023167162A1 (ja) 2023-09-07

Family

ID=87883708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/007197 WO2023167162A1 (ja) 2022-03-01 2023-02-28 ドットパターン生成方法及び３次元計測装置

Country Status (1)

Country Link
WO (1) WO2023167162A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190226838A1 (en) * 2011-08-09 2019-07-25 Apple Inc. Overlapping pattern projector
JP2020071034A (ja) * 2018-10-29 2020-05-07 セイコーエプソン株式会社 三次元計測方法、三次元計測装置、及び、ロボットシステム
US20200319341A1 (en) * 2019-04-03 2020-10-08 Varjo Technologies Oy Distance-imaging system and method of distance imaging
WO2022254854A1 (ja) * 2021-05-31 2022-12-08 興和株式会社 ３次元計測装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190226838A1 (en) * 2011-08-09 2019-07-25 Apple Inc. Overlapping pattern projector
JP2020071034A (ja) * 2018-10-29 2020-05-07 セイコーエプソン株式会社 三次元計測方法、三次元計測装置、及び、ロボットシステム
US20200319341A1 (en) * 2019-04-03 2020-10-08 Varjo Technologies Oy Distance-imaging system and method of distance imaging
WO2022254854A1 (ja) * 2021-05-31 2022-12-08 興和株式会社 ３次元計測装置

Similar Documents

Publication Publication Date Title
CN109751973B (zh) 三维测量装置、三维测量方法以及存储介质
JP6795993B2 (ja) 形状測定システム、形状測定装置及び形状測定方法
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
JP5994787B2 (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム
TW201520975A (zh) 產生場景深度圖之方法及裝置
JP2015184056A (ja) 計測装置、方法及びプログラム
CN108616726A (zh) 基于结构光的曝光控制方法及曝光控制装置
US20220254067A1 (en) Optical information detection method, device and equipment
WO2022254854A1 (ja) ３次元計測装置
JP2012141206A (ja) 三次元計測装置、三次元計測方法、およびプログラム
JP2017003331A (ja) 被計測物の形状を計測する計測装置、算出装置、算出方法及びプログラム
KR101729862B1 (ko) 데이터 보정 장치, 묘화 장치, 검사 장치, 데이터 보정 방법, 묘화 방법, 검사 방법 및 기록 매체
WO2023167162A1 (ja) ドットパターン生成方法及び３次元計測装置
KR20150003573A (ko) 영상 패턴 검출 방법 및 그 장치
CN112292577B (zh) 三维测量装置以及方法
KR101893823B1 (ko) 기판 검사장치 및 이를 이용한 기판의 왜곡 보상 방법
JP2014178536A (ja) 描画データ生成方法、描画方法、描画データ生成装置、および描画装置
JP2002131031A (ja) 三次元形状計測方法および三次元形状計測装置
JP2014035198A (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP6335809B2 (ja) 縞パタン画像取得装置、縞パタン画像取得方法、三次元位置特定装置、三次元位置特定方法、およびプログラム
JP2009216650A (ja) 三次元形状測定装置
CN112767472B (zh) 定位显示屏图像中灯珠的方法、计算设备及存储介质
JP6506784B2 (ja) 検査情報表示装置、検査情報表示方法および検査情報表示プログラム
US11023706B2 (en) Measurement system and measurement method
US20230342900A1 (en) Certificate determination apparatus, certificate determination method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23763420

Country of ref document: EP

Kind code of ref document: A1