JP2016166806A - Three-dimensional measurement method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To three-dimensionally measure a shape of a workpiece with ease by a generalization phase shift method in which an imaging method is an integration type, and an amount of phase shift of a grating pattern to be projected is arbitrary.SOLUTION: A phase shift analysis device 7 is configured to: input continuous three deformation grating images a, b, and c from an imaging device 6 thereinto to calculate an average square error about luminance values I, I, and Iamong the deformation grating images; obtain an absolute value of a relative amount of phase shift Δφpq among the deformation grating images by use of arccos serving as an inverse trigonometric function from the average square error in which a term expressing an oscillation component of the luminance value is set to 0 and expressed by a sin function; obtain a code of each amount of phase shift Δφpq and its solution κin which an evaluation function f(κ) expressed by a sum of obtained each amount of phase shift Δφpq satisfies a circuit difference phase condition; obtain a value of the amount of phase shift Δφpq including the code; obtain a value of a phase θ of the luminance value from the value of the amount of phase shift Δφpq; and three-dimensionally measure a shape of a workpiece 1.SELECTED DRAWING: Figure 1

Description

本発明は、被測定物の形状を三次元計測する三次元計測法に関するものである。   The present invention relates to a three-dimensional measurement method for three-dimensionally measuring the shape of an object to be measured.

従来、この種の三次元計測法としては、例えば、特許文献１に開示されたリアルタイム形状変形計測方法がある。この計測方法では、格子投影装置によって計測対象物体に格子パターンを投影する。投影する格子パターンは、１ピッチを明暗比１：２に分けた矩形波状の格子パターンを用い、その格子パターンが投影された物体をＣＣＤカメラで撮影する。格子パターンは、ＣＣＤカメラの１フレームの撮影時間である１／３０秒間に１／３ピッチで等速にシフトされ、ＣＣＤカメラは１／３０秒間に受けた光の強度を電荷として蓄え、それを輝度とした１つの格子画像に変換する。順次取得される各格子画像は、対応する第１〜第３フレームメモリに順に格納され、更新されていく。第１〜第３フレームメモリに格納された画像は、予め演算して求めた位相値に対する輝度値を格納する３次元位相算出テーブルによって即座に位相値に変換され、物体の位相分布画像としてリアルタイムに出力される。   Conventionally, as this type of three-dimensional measurement method, for example, there is a real-time shape deformation measurement method disclosed in Patent Document 1. In this measurement method, a lattice pattern is projected onto a measurement target object by a lattice projection device. As the lattice pattern to be projected, a rectangular wave lattice pattern in which one pitch is divided into a contrast ratio of 1: 2 is used, and an object on which the lattice pattern is projected is photographed with a CCD camera. The lattice pattern is shifted at a constant rate of 1/3 pitch in 1/30 seconds, which is the shooting time of one frame of the CCD camera, and the CCD camera stores the intensity of light received in 1/30 seconds as a charge. It is converted into one grid image with luminance. Each grid image acquired sequentially is sequentially stored and updated in the corresponding first to third frame memories. The images stored in the first to third frame memories are immediately converted into phase values by a three-dimensional phase calculation table that stores luminance values with respect to the phase values calculated in advance, and in real time as a phase distribution image of the object Is output.

特許第３５５４８１６号公報Japanese Patent No. 3554816

格子パターン投影法で撮影された変形格子像の解析手法として、位相シフト法がある。 位相シフト法は、 投影する格子パターンの位相をシフトさせて３枚以上の変形格子像を撮影し、その変形格子像から位相情報を求めることで、計測対象物体の三次元情報を復元する手法である。この位相シフト法は、その撮影方式からステップ型と積分型とに分類することができる。   There is a phase shift method as an analysis method of a deformed lattice image photographed by the lattice pattern projection method. The phase shift method is a method of reconstructing the three-dimensional information of the measurement target object by shifting the phase of the projected grating pattern and photographing three or more deformed grating images and obtaining the phase information from the deformed grating images. is there. This phase shift method can be classified into a step type and an integral type according to the photographing method.

ステップ型は、計測対象物体に投影する格子パターンの位相をステップ移動させてシフトさせる手順、その位相シフトを一時停止させる手順、変形格子像を撮影する手順が順に行われ、その後に再び格子パターンの位相をシフトさせる手順以下の手順の流れが繰り返される方法である。一方、積分型は、計測対象物体に投影する格子パターンの位相を停止させずに連続的にシフトさせながら、変形格子像の撮影が行われる手法であり、連続フリンジスキャンと呼ばれることもある。   In the step type, the steps of shifting the phase of the grating pattern projected onto the measurement target object by step movement, the procedure of temporarily stopping the phase shift, and the procedure of photographing the deformed grating image are performed in order, and then the grating pattern is again formed. Procedure for shifting the phase This is a method in which the flow of the following procedure is repeated. On the other hand, the integral type is a technique in which a deformed grid image is captured while continuously shifting the phase of the grid pattern projected onto the measurement target object without stopping, and is sometimes called a continuous fringe scan.

また、位相シフト法は、投影する格子パターンの位相シフト量の違いから、一定量位相シフト法と一般化位相シフト法とに分類することができる。一定量位相シフト法は、一般に用いられる位相シフト法で、例えばπ／２の一定量の位相を３ステップでシフトする３ステップ法が有名である。一方、一般化位相シフト法は、任意の位相シフト量で格子パターンの位相をシフトする方法である。   Further, the phase shift method can be classified into a constant amount phase shift method and a generalized phase shift method based on the difference in the phase shift amount of the projected grating pattern. The fixed amount phase shift method is a commonly used phase shift method, for example, a three step method in which a fixed amount of phase of π / 2 is shifted in three steps is famous. On the other hand, the generalized phase shift method is a method of shifting the phase of the grating pattern by an arbitrary amount of phase shift.

特許文献１に開示された上記従来の三次元計測法は、投影する格子パターンの撮影方式が１／３０秒間電荷を蓄える積分型で、位相シフト量がπ／３の一定量の、積分型・一定量位相シフト法である。投影する格子パターンの位相を一定量でシフトするこのような位相シフト法で、変形格子像を高速に撮影するためには、高速なデジタルカメラと位相シフタが必要になる。そして、格子投影装置の格子パターン表示，カメラの露光時間，シャッタータイミングなどを高精度に同期して制御する必要がある。これを実現するためには高性能な同期回路，デバイスと、十分な位相キャリブレーション作業が必要になる。   In the conventional three-dimensional measurement method disclosed in Patent Document 1, the imaging method of the projected grid pattern is an integral type in which charges are stored for 1/30 seconds, and a certain amount of phase shift is π / 3. This is a fixed phase shift method. A high-speed digital camera and a phase shifter are required to capture a deformed lattice image at a high speed by such a phase shift method that shifts the phase of the lattice pattern to be projected by a certain amount. Then, it is necessary to control the lattice pattern display of the lattice projection device, the exposure time of the camera, the shutter timing, and the like in synchronization with high accuracy. In order to realize this, a high-performance synchronization circuit and device and sufficient phase calibration work are required.

一方、任意の位相シフト量で格子パターンの位相をシフトする一般化位相シフト法は、位相シフト量の推定が必要になる。このため、従来、別の計測装置を使用して格子パターンの位相シフト量を計測したり、大量の変形格子像を用いて計算で位相シフト量を求めるなどの処理が必要になり、簡単に三次元計測が行えなかった。   On the other hand, the generalized phase shift method for shifting the phase of the grating pattern by an arbitrary phase shift amount requires estimation of the phase shift amount. For this reason, conventionally, processing such as measuring the phase shift amount of the grating pattern using another measuring device or obtaining the phase shift amount by calculation using a large amount of deformed grating images is required. The original measurement could not be performed.

本発明はこのような課題を解決するためになされたもので、
移動する格子パターンを被測定物に投影し、被測定物の形状に応じて変形する格子パターンを撮影して３枚の変形格子像を取得し、取得した３枚の変形格子像間における輝度値について平均二乗誤差を計算し、輝度値の位相分布のランダム性が成り立つときには輝度値の振動成分の空間平均が統計的に０になることに基づいて振動成分を表す項が０にされて三角関数で表された平均二乗誤差から、各変形格子像間の相対的な位相シフト量の絶対値を逆三角関数を使って求め、求めた各位相シフト量の和で表した評価関数が巡回差分位相条件を満たす各位相シフト量の符号および評価関数の解を解探索アルゴリズムを用いて求め、求めた各位相シフト量の符号および評価関数の解から符号を含めた位相シフト量の値を求め、位相シフト量のこの値から変形格子像の位相値を求めて被測定物の形状を三次元計測する三次元計測法を構成した。 The present invention has been made to solve such problems,
The moving lattice pattern is projected onto the object to be measured, the lattice pattern deforming according to the shape of the object to be measured is photographed to obtain three deformed lattice images, and the luminance value between the obtained three deformed lattice images When the mean square error is calculated and the randomness of the phase distribution of the luminance value holds, the term representing the vibration component is set to zero based on the fact that the spatial average of the vibration component of the luminance value is statistically zero, and the trigonometric function Using the inverse trigonometric function, the absolute value of the relative phase shift amount between the deformed lattice images is obtained from the mean square error expressed by the equation, and the evaluation function expressed as the sum of the obtained phase shift amounts is the cyclic difference phase. The solution of the code and evaluation function for each phase shift amount that satisfies the condition is obtained using a solution search algorithm, the value of the phase shift amount including the sign is obtained from the solution of the obtained code and evaluation function for each phase shift amount, and the phase This amount of shift Shape of the workpiece seeking phase value modification lattice image from constitute a three-dimensional measurement method for measuring three dimensions.

本構成によれば、撮影方式が積分型で、投影する格子パターンの位相シフト量が任意の一般化位相シフト法により、各変形格子像間の相対的な位相シフト量の値を簡単に算出することができる。したがって、算出した位相シフト量の値から変形格子像の位相値を求めることで、被測定物の形状を簡単に三次元計測することが可能になる。一般化位相シフト法は、一定量位相シフト法におけるような正確な位相キャリブレーションを必要とせず、また、撮影装置と格子投影装置との間で高精度な同期制御をとる必要がない。このため、一定量位相シフト法を用いて三次元計測する際に発生する様々な問題を生じることなく、計測システムを容易に構築して簡単な計測手順で三次元計測することが可能になる。   According to this configuration, the value of the relative phase shift amount between the deformed lattice images is easily calculated by the generalized phase shift method in which the imaging method is the integral type and the phase shift amount of the projected lattice pattern is arbitrary. be able to. Therefore, by obtaining the phase value of the deformed grating image from the calculated phase shift value, the shape of the object to be measured can be easily measured three-dimensionally. The generalized phase shift method does not require accurate phase calibration as in the fixed amount phase shift method, and does not require high-accuracy synchronous control between the imaging device and the lattice projection device. Therefore, it is possible to easily construct a measurement system and perform three-dimensional measurement with a simple measurement procedure without causing various problems that occur when performing three-dimensional measurement using the constant phase shift method.

また、本発明は、解探索アルゴリズムが、値が０となる評価関数を求めて、求めた評価関数を構成する各位相シフト量の係数値から各位相シフト量の符号を求め、求めた評価関数から解を見つけることを特徴とする。   In the present invention, the solution search algorithm obtains an evaluation function having a value of 0, obtains the sign of each phase shift amount from the coefficient value of each phase shift amount constituting the obtained evaluation function, and obtains the obtained evaluation function It is characterized by finding a solution from

本構成によれば、簡単なアルゴリズムで各位相シフト量の符号および評価関数の解を見つけることができる。このため、変形格子像間の相対的な位相シフト量の値をより簡単に算出することができ、被測定物の形状をより簡単に三次元計測することが可能になる。   According to this configuration, it is possible to find the solution of the sign of each phase shift amount and the evaluation function with a simple algorithm. For this reason, the value of the relative phase shift amount between the deformed grating images can be calculated more easily, and the shape of the object to be measured can be more easily three-dimensionally measured.

本発明によれば、撮影方式が積分型で、投影する格子パターンの位相シフト量が任意の一般化位相シフト法により、変形格子像間の相対的な位相シフト量の値を簡単に算出して、被測定物の形状を簡単に三次元計測することが可能になる。   According to the present invention, the value of the relative phase shift amount between the deformed lattice images can be easily calculated by the generalized phase shift method in which the imaging method is the integral type and the phase shift amount of the projected lattice pattern is arbitrary. The shape of the object to be measured can be easily measured three-dimensionally.

本発明の一実施の形態による三次元計測法を実施するための計測システムを示す概略構成図である。It is a schematic block diagram which shows the measurement system for implementing the three-dimensional measuring method by one embodiment of this invention. （ａ）は、一実施の形態による三次元計測法を実施するための計測システムにおける格子投影法の概略図、（ｂ）は、第１の変形例による格子投影法の概略図、（ｃ）は、第２の変形例による格子投影法の概略図である。(A) is the schematic of the lattice projection method in the measurement system for implementing the three-dimensional measurement method by one Embodiment, (b) is the schematic of the lattice projection method by a 1st modification, (c). These are the schematic diagrams of the lattice projection method by the 2nd modification. （ａ），（ｂ），（ｃ）は、それぞれ、一実施の形態による三次元計測法に用いられる位相シフトされた３枚の変形格子像を示す図である。(A), (b), (c) is a figure which respectively shows the three phase-shifted deformation | transformation grating | lattice images used for the three-dimensional measurement method by one Embodiment. 一実施の形態による三次元計測法における解探索アルゴリズムで用いられる評価関数ｆ_ｎ（κ）を表すグラフである。It is a graph evaluation representing the function f _{n (κ)} for use in the solution search algorithm in three-dimensional measurement method according to an embodiment. （ａ）は、一実施の形態による三次元計測法で求められた位相θを用いて三次元復元を行うことで得られる画像、（ｂ）は、最終的に計測される被測定物の三次元形状を示す画像である。(A) is an image obtained by performing three-dimensional reconstruction using the phase θ obtained by the three-dimensional measurement method according to one embodiment, and (b) is the tertiary of the object to be measured finally. It is an image which shows an original shape.

次に、本発明による三次元計測法を実施するための形態について、説明する。   Next, the form for implementing the three-dimensional measuring method by this invention is demonstrated.

図１は、本発明の一実施の形態による三次元計測法を実施するための計測システムＳを示す概略構成図である。   FIG. 1 is a schematic configuration diagram showing a measurement system S for carrying out a three-dimensional measurement method according to an embodiment of the present invention.

三次元計測が行われる対象の被測定物１には、等速で移動する格子パターン２が格子投影装置３によって投影される。本実施の形態では、格子パターン２には、輝度が正弦波状に変化する正弦波格子パターンが縞パターンとして理論的に用いられる。しかし、実際には、輝度キャリブレーションしてグラデーションのある正弦波近似縞パターンを作ったり、白黒二値の格子パターンをぼかして正弦波近似縞パターンを作ることなどで、明るい帯と暗い帯とが交互に繰り返される縞パターンを正弦波近似格子パターンとして得る。格子投影装置３から出射される格子パターン２は、軸４を中心に回転するミラー５で反射し、被測定物１に投影されることで、等速ｖで移動させられる。被測定物１に投影される格子パターン２はデジタルカメラ等の撮影装置６によって撮影され、撮影装置６には、被測定物１の形状に応じて変形する格子パターン２が変形格子像として取得される。この際、被測定物１は、撮影装置６からｚ方向に距離Ｌ_０離れたｘ−ｙ平面を基準平面として撮影される。 A lattice pattern 2 that moves at a constant speed is projected by a lattice projection device 3 onto an object to be measured 1 on which three-dimensional measurement is performed. In the present embodiment, a sine wave grating pattern whose luminance changes in a sine wave shape is theoretically used as the fringe pattern. In reality, however, bright bands and dark bands can be created by brightness calibration to create a sine wave approximate fringe pattern with gradation, or by blurring a black and white binary lattice pattern to create a sine wave approximate fringe pattern. An alternately repeated fringe pattern is obtained as a sinusoidal approximate lattice pattern. The grating pattern 2 emitted from the grating projection device 3 is reflected by the mirror 5 rotating around the axis 4 and projected onto the DUT 1 so that it is moved at a constant speed v. The lattice pattern 2 projected onto the device under test 1 is photographed by a photographing device 6 such as a digital camera, and the photographing device 6 acquires a lattice pattern 2 that deforms according to the shape of the device under test 1 as a deformed lattice image. The At this time, the DUT 1 is imaged using the xy plane that is a distance L ₀ away from the imaging device 6 in the z direction as a reference plane.

縞画像のアニメーションをプロジェクタを用いてＰＣ（パーソナルコンピュータ）の制御で被測定物１に投影すると、格子パターン２が等速ｖで移動しなかったり、撮影装置６との同期制御が必要になる。このため、本実施の形態では、図２（ａ）に示すように、格子投影装置３の内蔵光源３ａから出射される光を縞パターンが印刷されたフィルム３ｂに通し、軸４を中心に回転するミラー５で反射させることで、格子パターン２を等速ｖで移動させ続ける。   When the animation of the fringe image is projected onto the DUT 1 under the control of a PC (personal computer) using a projector, the lattice pattern 2 does not move at a constant speed v, or synchronous control with the photographing device 6 is required. For this reason, in this embodiment, as shown in FIG. 2A, the light emitted from the built-in light source 3a of the grating projection device 3 is passed through the film 3b on which the fringe pattern is printed, and is rotated about the axis 4. The grating pattern 2 is continuously moved at a constant speed v by being reflected by the mirror 5.

なお、格子パターン２を投影するデバイスは、上記のような写真フィルムを用いたスライド式のプロジェクタに限られることはなく、透過型や反射型の液晶パネルをＰＣで制御して投影する方式のプロジェクタ等であってもよく、固定パターンを投影することができるものであればよい。また、同図（ｂ）に示すように、格子投影装置３の内部で、円筒状に形成したフィルム３ｂを光源３ａを中心に等速で回転させることによっても、格子パターン２を等速ｖで移動させ続けることができる。また、同図（ｃ）に示すように、格子投影装置３の内部でフィルム３ｂを等速ｖで平行移動させることで、格子パターン２を等速ｖで移動させることもできる。図２に例示するこれらの構成によれば、格子投影装置３は、ＰＣ制御のプロジェクタである必要は無く、単なる縞パターンを投影する機能だけを備えた安価なものでよくなる。   The device for projecting the lattice pattern 2 is not limited to the slide type projector using the photographic film as described above, and a projector that projects by controlling a transmissive or reflective liquid crystal panel with a PC. Or any other type that can project a fixed pattern. In addition, as shown in FIG. 5B, the lattice pattern 2 can be moved at a constant velocity v by rotating the film 3b formed in a cylindrical shape around the light source 3a at a constant speed inside the lattice projection device 3. Can continue to move. Further, as shown in FIG. 3C, the lattice pattern 2 can be moved at a constant velocity v by translating the film 3b at a constant velocity v inside the lattice projection device 3. According to these configurations illustrated in FIG. 2, the lattice projection device 3 does not need to be a PC-controlled projector, and may be an inexpensive one having only a function of projecting a fringe pattern.

撮影装置６によって撮影される被測定物１の変形格子像は位相シフト解析装置７へ出力され、以下のようにして、変形格子像の位相値、すなわち、被測定物１のｚ方向における高さが算出されて、被測定物１の三次元形状が計測される。位相シフト解析装置７は、並列処理に優れるＧＰＵ（グラフィック・プロセッシング・ユニット）を備えて構成される場合があり、高速動作するマイクロコンピュータによって以下の計算処理がリアルタイムに行われることで、撮影方式が積分型で、投影する格子パターン２の位相シフト量が任意の一般化位相シフト法により、被測定物１の三次元計測が高速にかつ高解像度で行われる。   The deformed grating image of the DUT 1 photographed by the photographing device 6 is output to the phase shift analyzer 7 and the phase value of the deformed grating image, that is, the height of the DUT 1 in the z direction is as follows. Is calculated, and the three-dimensional shape of the DUT 1 is measured. The phase shift analysis device 7 may be configured with a GPU (Graphic Processing Unit) excellent in parallel processing, and the following calculation processing is performed in real time by a microcomputer that operates at high speed. The three-dimensional measurement of the DUT 1 is performed at high speed and with high resolution by the generalized phase shift method that is an integral type and the phase shift amount of the projected grating pattern 2 is arbitrary.

位相シフト解析装置７は撮影装置６から連続する３枚の変形格子像、例えば、図３（ａ），（ｂ），（ｃ）に示すお面の３枚の変形格子像ａ，ｂ，ｃを入力する。これら各変形格子像ａ，ｂ，ｃにおける縞の輝度分布は余弦波形と見なすことができ、縞の輝度値Ｉφ（ｘ，ｙ）は空間（ｘ，ｙ）上に余弦波状に分布する。このとき、その波の、被測定物１により作られる位相をθ_０（ｘ，ｙ）とすると、輝度値Ｉφ（ｘ，ｙ）は次の（１）式のように表される。

The phase shift analysis device 7 has three deformed lattice images continuous from the photographing device 6, for example, three deformed lattice images a, b, and c shown in FIGS. 3 (a), 3 (b), and 3 (c). Enter. The luminance distribution of fringes in each of these modified lattice images a, b, and c can be regarded as a cosine waveform, and the luminance value Iφ (x, y) of the fringe is distributed in a cosine wave shape on the space (x, y). At this time, assuming that the phase of the wave produced by the DUT 1 is θ ₀ (x, y), the luminance value Iφ (x, y) is expressed by the following equation (1).

ここで、Ａは背景輝度を表すバイアス項、Ｂは輝度の振幅を表すコントラスト項、ｆ_０は縞の周波数、Ｔは縞の周期、φは縞の位相シフト量である。θ_Ｒを次の（２）式

で定義し、θ＝θ_０＋θ_Ｒとおいて、座標系（ｘ，ｙ）を省略すると、（１）式に表される輝度値Ｉφ（ｘ，ｙ）は次の（３）式のように簡単化することができる。

Here, A is a bias term representing background luminance, B is a contrast term representing luminance amplitude, f ₀ is a fringe frequency, T is a fringe period, and φ is a fringe phase shift amount. θ _R is the following equation (2)

If the coordinate system (x, y) is omitted when θ = θ ₀ + θ _R , the luminance value Iφ (x, y) represented by the equation (1) is as shown in the following equation (3): It can be simplified.

変形格子像の位相φが連続的に変化している状態においては、撮影装置６の露光時間ｔの間にシフトする変形格子像の位相変化量をΔt とすると、位相シフト解析装置７に取得されて記録される変形格子像ａ，ｂ，ｃの輝度値Ｉi（ｘ，ｙ）はその強度を積分することで求めることができ、次の（４）式のように表される。

In a state in which the phase φ of the deformed grating image is continuously changed, if the phase change amount of the deformed grating image that is shifted during the exposure time t of the photographing apparatus 6 is Δt, the phase shift analyzing apparatus 7 acquires the phase change amount. The luminance values Ii (x, y) of the deformed lattice images a, b, c recorded in this way can be obtained by integrating their intensities, and are expressed as the following equation (4).

ここで、φi は変形格子像ｉの位相シフト量で、また、関数sinc(x)は次の（５）式のように表される。

Here, φi is the phase shift amount of the deformed grating image i, and the function sinc (x) is expressed by the following equation (5).

（４）式は、元の（３）式の振動項にsinc関数の形の定数が掛算されたものである。ここで、Δt＝０ならばステップ型、Δt＞０ならば積分型の位相シフトになる。つまり、ステップ型と積分型の位相シフトは、次の（６）式に示す、実質的に同じ変形格子像の式で表すことができる。

Equation (4) is obtained by multiplying the vibration term of the original equation (3) by a constant in the form of a sinc function. Here, if Δt = 0, the phase shift is a step type, and if Δt> 0, the phase shift is an integral type. That is, the step-type and integral-type phase shifts can be expressed by substantially the same modified lattice image equation shown in the following equation (6).

上記の（４）式から、変形格子像ａ，ｂ，ｃの輝度値Ｉ_０，Ｉ_１，Ｉ_２は、変形格子像ａ，ｂ，ｃの位相シフト量をそれぞれφ_０，φ_１，φ_２とすると、次の（７）式のように表される。

From the above equation (4), the luminance values I ₀ , I ₁ , and I ₂ of the modified lattice images a, b, and c are the phase shift amounts of the modified lattice images a, b, and c, respectively, φ ₀ , φ ₁ , φ _{Assuming 2} , it is expressed as the following equation (7).

これらの式からθを求めると、次の（８）式となる。

When θ is obtained from these equations, the following equation (8) is obtained.

ただし、ΔＩpq＝Ｉq−Ｉp、Δφpq＝φq−φp（ｐ，ｑ＝０，１，２）である。この（８）式の導出は次のように行われる。ΔＩ_０１，ΔＩ_１２，ΔＩ_２０は、各輝度値Ｉ_０，Ｉ_１，Ｉ_２の差分をとり、複素形式で表すと、次の（９）式のようになる。

However, ΔIpq = Iq−Ip and Δφpq = φq−φp (p, q = 0, 1, 2). The derivation of equation (8) is performed as follows. ΔI ₀₁ , ΔI ₁₂ , ΔI ₂₀ takes the difference between the luminance values I ₀ , I ₁ , I ₂ and is expressed in the following complex expression (9).

ただし、Ｃは次の（１０）式に表され、Ｃ^＊はＣの共役複素数である。

However, C is represented by the following equation (10), and C ^* is a conjugate complex number of C.

次に、（９）式のΔＩ_０１とΔＩ_２０の式からなる以下の（１１）式に表される連立方程式を考え、

この連立方程式をＣについて解くと、Ｃは次の（１２）式に表される。

Next, consider the simultaneous equations expressed by the following equation (11) consisting of ΔI ₀₁ and ΔI ₂₀ in equation (9):

When this simultaneous equation is solved for C, C is expressed by the following equation (12).

ただし、Ｄは次の（１３）式に表される。

However, D is represented by the following equation (13).

（１２）式において、初期位相φ_０をゼロとしても一般性は失われないので、Ｃは次の（１４）式に表すことができる。

In the equation (12), since the generality is not lost even if the initial phase φ _{0 is set} to zero, C can be expressed by the following equation (14).

この（１４）式に（１３）式に表されるＤを代入して整理すると、Ｃは次の（１５）式のように表される。

Substituting D represented by the equation (13) into the equation (14) for rearrangement, C is represented by the following equation (15).

位相θは、（１５）式に表されるＣの位相から次の（１６）式のように求めることができる。

The phase θ can be obtained from the C phase represented by the equation (15) as in the following equation (16).

この結果、変形格子像ａ，ｂ，ｃのｚ方向の高さに相当する波の位相θは、（８）式に表されることになる。また、変形格子像ａ，ｂ，ｃの波の振幅（コントラスト）、つまり、縞の輝度値Ｉiの大きさは、（１５）式に表されるＣの絶対値を次の（１７）式で算出することで、求まる。

As a result, the wave phase θ corresponding to the height in the z direction of the deformed lattice images a, b, and c is expressed by equation (8). The amplitude (contrast) of the waves of the deformed lattice images a, b and c, that is, the magnitude of the stripe luminance value Ii is the absolute value of C expressed by the equation (15) by the following equation (17). It is obtained by calculating.

縞のコントラストが低い画像領域の位相θは信頼性の低い性質がある。このため、振幅が低い位相θの情報を除去することで、信頼性の高い三次元計測を行うことができる。   The phase θ of the image area where the fringe contrast is low has a low reliability. For this reason, highly reliable three-dimensional measurement can be performed by removing information on the phase θ having a low amplitude.

（８）式に表される位相θの値を求めるには、変形格子像ａ，ｂ，ｃ間の相対的な位相シフト量Δφpqを知る必要がある。本実施の形態では、次のようにして位相シフト量Δφpqの値を統計手法を用いて推定する。まず、（７）式に示される縞の輝度値Ｉ_０，Ｉ_１，Ｉ_２から、取得した２枚の変形格子像ａ，ｂ、ｂ，ｃ、ｃ，ａ間における輝度値Ｉｉの差ΔＩpqを次の（１８）式により求める。

In order to obtain the value of the phase θ expressed by the equation (8), it is necessary to know the relative phase shift amount Δφpq between the deformed lattice images a, b, and c. In the present embodiment, the value of the phase shift amount Δφpq is estimated using a statistical method as follows. First, the difference ΔIpq of the luminance value Ii between the two deformed lattice images a, b, b, c, c, a acquired from the luminance values I ₀ , I ₁ , I _{2 of the} stripes shown in the equation (7). Is obtained by the following equation (18).

次に、ΔＩpqの絶対値の二乗の空間平均を平均二乗誤差として次の（１９）式のように求める。

Next, the spatial average of the square of the absolute value of ΔIpq is obtained as the mean square error as shown in the following equation (19).

（１９）式における記号<>は、１フレームの画像全体について平均をとる演算子である。輝度値Ｉiの位相分布のランダム性が成り立つときには、空間に分布する輝度値Ｉiの振動成分の空間平均は統計的に０になる。本実施形態のように、縞状の格子パターン２を投影して撮影する縞パターン投影方式では、輝度値Ｉiの位相分布のランダム性が十分に成り立つことが分かっている。このことに基づき、（１９）式における輝度値Ｉiの振動成分を表す余弦関数の項<cos(２θ＋φp＋φq)>を０にすると、（１９）式は次の（２０）式で表される。

The symbol <> in the equation (19) is an operator that takes an average over the entire image of one frame. When the randomness of the phase distribution of the luminance value Ii holds, the spatial average of the vibration component of the luminance value Ii distributed in the space is statistically zero. It is known that the randomness of the phase distribution of the luminance value Ii is sufficiently established in the fringe pattern projection method in which the striped lattice pattern 2 is projected and photographed as in the present embodiment. Based on this, when the term <cos (2θ + φp + φq)> representing the vibration component of the luminance value Ii in equation (19) is set to 0, equation (19) is expressed by the following equation (20).

各変形格子像ａ，ｂ、ｂ，ｃ、ｃ，ａ間における格子パターン２の相対的な位相シフト量Δφpqの絶対値は、（２０）式に示す三角関数sinで表された平均二乗誤差から、次の（２１）式のように、逆三角関数arccosを使って求めることができる。

The absolute value of the relative phase shift amount Δφpq of the lattice pattern 2 between the respective deformed lattice images a, b, b, c, c, a is obtained from the mean square error represented by the trigonometric function sin shown in the equation (20). As shown in the following equation (21), the inverse trigonometric function arccos can be used.

ただし、Ｅpqおよびκはそれぞれ次の（２２）式に表されるものとする。

However, Epq and κ are each expressed by the following equation (22).

ここで、逆三角関数arccosによって表される位相シフト量Δφpqは、０≦Δφpq＜πの位相シフト範囲に制限され、その符号はこれだけでは決定できない。このため、位相シフト範囲を−π≦Δφpq＜πに拡張するため、位相シフト量Δφpqの総和が２ｍπ（ｍは整数）となる次の（２３）式に表される巡回差分位相条件を使って、位相シフト量Δφpqの符号推定を行う。

Here, the phase shift amount Δφpq represented by the inverse trigonometric function arccos is limited to the phase shift range of 0 ≦ Δφpq <π, and the sign thereof cannot be determined by itself. Therefore, in order to extend the phase shift range to −π ≦ Δφpq <π, the cyclic difference phase condition expressed by the following equation (23) in which the total sum of the phase shift amounts Δφpq is 2mπ (m is an integer) is used. The sign of the phase shift amount Δφpq is estimated.

ここで、位相シフト量Δφpqの符号を考慮した、次の（２４）式に表される評価関数ｆ_ｎ（κ）を考える。評価関数ｆ_ｎ（κ）は、変形格子像ａ，ｂ、ｂ，ｃ、ｃ，ａ間について（２１）式で求めた各位相シフト量Δφpqの和で表される。

Here, an evaluation function f _n (κ) expressed by the following equation (24) considering the sign of the phase shift amount Δφpq is considered. The evaluation function f _n (κ) is expressed by the sum of the phase shift amounts Δφpq obtained by the equation (21) between the deformed lattice images a, b, b, c, c, a.

ただし、係数ｃpq＝＋１または−１である。逆三角関数arccosによって（２１）式のように表される位相シフト量Δφpqは正の値であるので、係数ｃpqの値は位相シフト量Δφpqの符号に対応している。ｆ_ｎ（κ）＝２ｍπの制約条件式を成立させる評価関数ｆ_ｎ（κ）は巡回差分位相条件を満たし、その係数ｃpqの値は位相シフト量Δφpqの正しい符号である。 However, the coefficient cpq = + 1 or −1. Since the phase shift amount Δφpq expressed by the inverse trigonometric function arccos as expressed by the equation (21) is a positive value, the value of the coefficient cpq corresponds to the sign of the phase shift amount Δφpq. The evaluation function f _n (κ) that satisfies the constraint condition expression of f _n (κ) = 2mπ satisfies the cyclic difference phase condition, and the value of the coefficient cpq is a correct sign of the phase shift amount Δφpq.

巡回差分位相条件を満たす各位相シフト量Δφpqの符号および評価関数ｆ_ｎ（κ）の解は、一般的な解探索アルゴリズムを用いて求めることができる。本実施の形態に用いる解探索アルゴリズムでは、評価関数ｆ_ｎ（κ）の値が０となる以下に示すゼロクロス条件で評価関数ｆ_ｎ（κ）を選択して、その評価関数ｆ_ｎ（κ）の各位相シフト量Δφpqに係る係数ｃpqの値、およびその評価関数ｆ_ｎ（κ）の解κ_０を見つける。 The sign of each phase shift amount Δφpq that satisfies the cyclic differential phase condition and the solution of the evaluation function f _n (κ) can be obtained using a general solution search algorithm. In solution search algorithm used in the present embodiment, the evaluation function value of f _{n (kappa)} selects the evaluation function f _{n (κ)} at the zero crossing under the following conditions to be 0, the evaluation function f _{n (kappa)} Find the value of the coefficient cpq associated with each phase shift amount Δφpq and the solution κ ₀ of its evaluation function f _n (κ).

評価関数ｆ_ｎ（κ）は、３つの位相シフト量Δφpqの和で表され、各係数ｃpqの取り得る値の組み合わせによって次の８つの式ｆ_１（κ）〜ｆ_８（κ）で表される。

The evaluation function f _n (κ) is represented by the sum of the three phase shift amounts Δφpq, and is represented by the following eight formulas f ₁ (κ) to f ₈ (κ) depending on combinations of values that can be taken by the coefficients cpq. The

ｆ_５（κ）〜ｆ_８（κ）はｆ_１（κ）〜ｆ_４（κ）の符号反転なので、位相の回転方向が逆になっていることを示している。つまり、実質的にはｆ_１（κ）〜ｆ_４（κ）までの４ 通りを考えればよいことになる。これらの各式ｆ_１（κ）〜ｆ_８（κ）は、図４に示すグラフに表すことができる。同グラフの横軸はκの値、縦軸は評価関数ｆ_ｎ（κ）の値である。 Since f ₅ (κ) to f ₈ (κ) are sign inversions of f ₁ (κ) to f ₄ (κ), it indicates that the phase rotation direction is reversed. That is, substantially four patterns from f ₁ (κ) to f ₄ (κ) may be considered. Each of these formulas f ₁ (κ) to f ₈ (κ) can be represented in the graph shown in FIG. In the graph, the horizontal axis represents the value of κ, and the vertical axis represents the value of the evaluation function f _n (κ).

同グラフから、ｆ_ｎ（κ）＝０のラインにクロスする評価関数ｆ_ｎ（κ）はｆ_１（κ）であることが分かる。したがって、この例では、各係数ｃpq（ｃ_０１，ｃ_１２，ｃ_２０）の値は、（２５）式のｆ_１（κ）の式からそれぞれ＋１となる。また、ｆ_ｎ（κ）＝２ｍπの制約条件を満たすκの解κ_０は、ｆ_１（κ）がｆ_ｎ（κ）＝０のラインにクロスするκの値になる。 From the graph, it can be seen that the evaluation function f _n (κ) that crosses the line of f _n (κ) = 0 is f ₁ (κ). Therefore, in this example, the value of each coefficient cpq (c ₀₁ , c ₁₂ , c ₂₀ ) is +1 from the expression of f ₁ (κ) in the expression (25). Further, the solution κ ₀ of κ that satisfies the constraint condition of f _n (κ) = 2mπ is a _value of κ at which f ₁ (κ) crosses the line of f _n (κ) = 0.

最適な評価関数ｆ_ｎ（κ）は、詳細には次のように求めることができる。（２１）式に示す逆三角関数arccosより、次の（２６）式に示す不等式が成り立つ。

The optimum evaluation function f _n (κ) can be obtained in detail as follows. From the inverse trigonometric function arccos shown in equation (21), the following inequality is established as shown in equation (26).

したがって、κの範囲は次の（２７）式に示す範囲となる。

Therefore, the range of κ is the range shown in the following equation (27).

ただし、Ｅmaxは次の（２８）式の大括弧｛｝中の最も大きなＥpqとする。

However, Emax is the largest Epq in the brackets {} in the following equation (28).

このκの範囲で、巡回差分位相条件を満たす評価関数ｆ_ｎ（κ）を調べる。ここで、αを０＜α＜κ_０＜２／Ｅmaxの関係を満たす値とする（実際の計算ではαは０に近い値とすればよい）。また、ｆ_１（κ）の場合は評価関数ｆ_ｎ（κ）＝ｆ_１（κ）−２π、ｆ_２（κ），ｆ_３（κ），ｆ_４（κ）の場合は評価関数ｆ_ｎ（κ）＝ｆ_ｎ（κ）、ｎ＝２，３，４の式を用いる。評価関数ｆ_ｎ（κ）がｆ_ｎ（κ）＝０の軸と交差する場合、０の前後で評価関数ｆ_ｎ（κ）の符号が変わるので、ｆ_ｎ（α）・ｆ_ｎ（２／Ｅmax）＜０となる関数が最適な評価関数ｆ_ｎ（κ）となる。最適な評価関数ｆ_ｎ（κ）が決定したら、その解κ_０は２分法のような単純なアルゴリズムによって求めることができる。また、各位相シフト量Δφpqの係数ｃpqの値は（２５）式のｆ_１（κ）〜ｆ_８（κ）の式を参照することで求めることができる。 In this range of κ, the evaluation function f _n (κ) that satisfies the cyclic differential phase condition is examined. Here, α is set to a value satisfying the relationship of 0 <α <κ ₀ <2 / Emax (α may be a value close to 0 in actual calculation). In the case of f ₁ (κ), the evaluation function f _n (κ) = f ₁ (κ) −2π, and in the case of f ₂ (κ), f ₃ (κ), f ₄ (κ), the evaluation function f _n. (Κ) = f _n (κ), n = 2, 3 and 4 are used. When the evaluation function f _n (κ) intersects the axis of f _n (κ) = 0, the sign of the evaluation function f _n (κ) changes before and after 0, so that f _n (α) · f _n (2 / A function satisfying Emax) <0 is the optimum evaluation function f _n (κ). When the optimum evaluation function f _n (κ) is determined, the solution κ ₀ can be obtained by a simple algorithm such as a bisection method. Further, the value of the coefficient cpq of each phase shift amount Δφpq can be obtained by referring to the equations f ₁ (κ) to f ₈ (κ) in the equation (25).

符号を含めた位相シフト量Δφpqの値は、このように求めた各位相シフト量Δφpqの係数ｃpqの値および評価関数ｆ_ｎ（κ）の解κ_０から、次の（２９）式によって求めることができる。

The value of the phase shift amount Δφpq including the sign is obtained from the value of the coefficient cpq of each phase shift amount Δφpq and the solution κ _{0 of the} evaluation function f _n (κ) by the following equation (29). Can do.

前述したように、この符号を含めた位相シフト量Δφpqの値を（８）式に代入することで、変形格子像ａ，ｂ，ｃのｚ方向の高さに相当する波の位相θが求められる。この位相θから一般的な方法を用いて三次元復元を行うことで図５（ａ）に示す画像が得られ、最終的に同図（ｂ）に示す被測定物１の三次元形状が計測される。   As described above, the phase θ of the wave corresponding to the height in the z direction of the deformed grating images a, b, and c is obtained by substituting the value of the phase shift amount Δφpq including this sign into the equation (8). It is done. By performing three-dimensional reconstruction from this phase θ using a general method, the image shown in FIG. 5A is obtained, and finally the three-dimensional shape of the DUT 1 shown in FIG. 5B is measured. Is done.

このような本実施の形態による三次元計測法によれば、撮影方式が積分型で、投影する格子パターン２の位相シフト量Δφpqが任意の一般化位相シフト法により、各変形格子像ａ，ｂ，ｃ間の相対的な位相シフト量Δφpqの値を上記のように簡単に算出することができる。したがって、算出した位相シフト量Δφpqの値から（８）式を用いて変形格子像ａ，ｂ，ｃの位相θの値を求めることで、被測定物１の形状を簡単に三次元計測することが可能になる。一般化位相シフト法は、一定量位相シフト法におけるような正確な位相キャリブレーションを必要とせず、また、撮影装置６と格子投影装置３との間で高精度な同期制御をとる必要がない。さらに、位相シフトの安定性が良い。このため、一定量位相シフト法を用いて三次元計測する際に発生する様々な問題を生じることなく、ＰＣシステム等で計測システムＳを容易に構築して、簡単な計測手順で短時間に三次元計測することが可能になる。   According to such a three-dimensional measurement method according to the present embodiment, the imaging method is an integral type, and the phase shift amount Δφpq of the lattice pattern 2 to be projected is determined by the arbitrary generalized phase shift method. , C, the value of the relative phase shift amount Δφpq can be easily calculated as described above. Therefore, the shape of the DUT 1 can be easily measured three-dimensionally by determining the value of the phase θ of the deformed grating images a, b, and c from the calculated value of the phase shift amount Δφpq using equation (8). Is possible. The generalized phase shift method does not require accurate phase calibration as in the constant amount phase shift method, and does not require high-accuracy synchronous control between the imaging device 6 and the lattice projection device 3. Furthermore, the stability of the phase shift is good. For this reason, the measurement system S is easily constructed with a PC system or the like without causing various problems that occur when performing the three-dimensional measurement using the constant phase shift method, and the third order can be performed in a short time with a simple measurement procedure. The original measurement can be performed.

また、本実施の形態による三次元計測法では、値が０となる評価関数ｆ_ｎ（κ）を求めて、求めた評価関数ｆ_ｎ（κ）を構成する各位相シフト量Δφpqの係数ｃpqの値から各位相シフト量Δφpqの符号を求め、また、求めた評価関数ｆ_ｎ（κ）から解κ_０を見つける解探索アルゴリズムが採用されている。本構成によれば、簡単なアルゴリズムで各位相シフト量Δφpqの符号および評価関数ｆ_ｎ（κ）の解κ_０を見つけることができる。このため、変形格子像ａ，ｂ，ｃ間における格子パターン２の相対的な位相シフト量Δφpqの値をより簡単に算出することができ、被測定物１の形状をより簡単に三次元計測することが可能になる。 In the three-dimensional measurement method according to the present embodiment, the evaluation function f _n (κ) having a value of 0 is obtained, and the coefficient cpq of each phase shift amount Δφpq constituting the obtained evaluation function f _n (κ) is calculated. A solution search algorithm for obtaining the sign of each phase shift amount Δφpq from the value and finding the solution κ ₀ from the obtained evaluation function f _n (κ) is employed. According to this configuration, the sign of each phase shift amount Δφpq and the solution κ ₀ of the evaluation function f _n (κ) can be found with a simple algorithm. Therefore, the value of the relative phase shift amount Δφpq of the lattice pattern 2 between the deformed lattice images a, b, and c can be calculated more easily, and the shape of the DUT 1 can be more easily measured three-dimensionally. It becomes possible.

上記の本発明による三次元計測法は、デジタル３Ｄ（三次元）アーカイブのための３Ｄスキャナや、腹腔鏡下での手術における三次元計測、義肢・装具製作，義歯製作における三次元計測、ロボットビジョンや人間の運動解析における三次元計測、ヒューマンインターフェース、生体認証等のセキュリティ技術、リバースエンジニアリング、３ＤＣＧ（コンピュータ・グラフィック）や３Ｄプリンタのための３Ｄデータ取得技術等に利用することが可能である。   The above-described three-dimensional measurement method according to the present invention includes a 3D scanner for digital 3D (three-dimensional) archiving, three-dimensional measurement in laparoscopic surgery, three-dimensional measurement in prosthetic limb and orthosis production, denture production, robot vision It can be used for 3D measurement in human motion analysis, human interface, security technology such as biometric authentication, reverse engineering, 3D data acquisition technology for 3DCG (computer graphics) and 3D printers.

Ｓ…計測システム
１…被測定物
２…格子パターン
３…格子投影装置
３ａ…光源
３ｂ…フィルム
４…軸
５…ミラー
６…撮影装置
７…位相シフト解析装置 DESCRIPTION OF SYMBOLS S ... Measuring system 1 ... Object to be measured 2 ... Lattice pattern 3 ... Lattice projection device 3a ... Light source 3b ... Film 4 ... Axis 5 ... Mirror 6 ... Imaging device 7 ... Phase shift analysis device

Claims (2)

移動する格子パターンを被測定物に投影し、被測定物の形状に応じて変形する前記格子パターンを撮影して３枚の変形格子像を取得し、取得した３枚の前記変形格子像間における輝度値について平均二乗誤差を計算し、前記輝度値の位相分布のランダム性が成り立つときには前記輝度値の振動成分の空間平均が統計的に０になることに基づいて前記振動成分を表す項が０にされて三角関数で表された前記平均二乗誤差から、各前記変形格子像間の相対的な位相シフト量の絶対値を逆三角関数を使って求め、求めた各前記位相シフト量の和で表した評価関数が巡回差分位相条件を満たす各前記位相シフト量の符号および前記評価関数の解を解探索アルゴリズムを用いて求め、求めた各前記位相シフト量の符号および前記評価関数の解から符号を含めた前記位相シフト量の値を求め、前記位相シフト量のこの値から前記変形格子像の位相値を求めて被測定物の形状を三次元計測する三次元計測法。   The moving lattice pattern is projected onto the object to be measured, the lattice pattern deformed according to the shape of the object to be measured is photographed to obtain three deformed lattice images, and between the obtained three deformed lattice images. A term representing the vibration component is calculated based on the fact that the mean square error is calculated for the luminance value, and the spatial average of the vibration component of the luminance value is statistically zero when the randomness of the phase distribution of the luminance value holds. From the mean square error expressed as a trigonometric function, the absolute value of the relative phase shift amount between the deformed lattice images is obtained using an inverse trigonometric function, and the sum of the obtained phase shift amounts is obtained. A sign of each phase shift amount satisfying a cyclic differential phase condition and a solution of the evaluation function are obtained using a solution search algorithm, and a sign of each obtained phase shift amount and a solution of the evaluation function are obtained. The Obtains a value of meta said phase shift, three-dimensional measurement method for measuring three-dimensional shape of the object to be measured by obtaining a phase value of the deformation lattice image from this value of the phase shift amount. 前記解探索アルゴリズムは、値が０となる前記評価関数を求めて、求めた前記評価関数を構成する各前記位相シフト量の係数値から各前記位相シフト量の符号を求め、求めた前記評価関数から前記解を見つけることを特徴とする請求項１に記載の三次元計測法。   The solution search algorithm obtains the evaluation function having a value of 0, obtains the sign of each phase shift amount from the coefficient value of each phase shift amount constituting the obtained evaluation function, and obtains the obtained evaluation function The three-dimensional measurement method according to claim 1, wherein the solution is found from:

Images