JP3370418B2 - 3D shape measurement system - Google Patents
3D shape measurement systemInfo
- Publication number
- JP3370418B2 JP3370418B2 JP04914594A JP4914594A JP3370418B2 JP 3370418 B2 JP3370418 B2 JP 3370418B2 JP 04914594 A JP04914594 A JP 04914594A JP 4914594 A JP4914594 A JP 4914594A JP 3370418 B2 JP3370418 B2 JP 3370418B2
- Authority
- JP
- Japan
- Prior art keywords
- phase amount
- pixels
- phase
- reference plane
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の詳細な説明】Detailed Description of the Invention
【０００１】[0001]
【産業上の利用分野】本発明は、測定対象物の表面の３
次元形状を測定する３次元形状測定システム、特に、測
定対象物が生体であっても、支障なくその表面の微細な
３次元形状を測定することの可能な３次元形状測定シス
テムに関する。生体表面のしわ等の微細な３次元形状が
測定できれば、例えば、しわ取りクリームの効果の客観
的な評価が可能となる。しかしながら、測定対象が生体
である場合、種々の制約があり、また、深さが数１０〜
１００μｍである小じわまで検出しその形状を測定する
ためには１０μｍまでの分解能が要求される。BACKGROUND OF THE INVENTION 1. Field of the Invention
TECHNICAL FIELD The present invention relates to a three-dimensional shape measuring system for measuring a three-dimensional shape, and more particularly to a three-dimensional shape measuring system capable of measuring a fine three-dimensional shape on the surface of a living body even if the measuring object is a living body. If a fine three-dimensional shape such as wrinkles on the surface of a living body can be measured, for example, it becomes possible to objectively evaluate the effect of the wrinkle removing cream. However, when the measurement target is a living body, there are various restrictions, and the depth is several 10 to 10.
A resolution of up to 10 μm is required to detect fine wrinkles of 100 μm and measure their shape.
【０００２】本発明は、このような制約のある測定環境
下においても、要求される仕様を満足する測定が可能な
３次元形状測定システムに言及する。The present invention refers to a three-dimensional shape measuring system capable of performing measurement satisfying the required specifications even under such a restricted measurement environment.
【０００３】[0003]
【従来の技術】本願出願人は、既に特願平２−２１５８
８５号において、上述の測定環境下における測定に最適
な３次元形状測定システムを提案している。この装置に
よれば、黒白２値のみの濃淡を有する格子（ロンキー格
子）を用いて測定対象に格子を投影し、撮像して得られ
た信号をＡ／Ｄ変換したものは、正弦波状の濃淡を持つ
格子（正弦格子）とみなせるとの発見にもとづき、格子
パターン投影法（精密工学会誌、５３、（３）、ｐｐ４
２２−４２６）で使用されるロンキー格子を用いて得ら
れた信号に縞走査法における解析手法を適用することに
よって、生体にとって安全上問題のあるレーザ光を使用
することなく、除震装置が不要であるので測定上の幾何
学的制約が少なく、かつ、短時間で測定を完了すること
ができる等の、生体の３次元形状測定に最適の環境で、
縞走査法による精密な３次元形状測定値を得ることがで
きるようになった。2. Description of the Related Art The applicant of the present application has already filed Japanese Patent Application No. 2-2158.
No. 85 proposes a three-dimensional shape measuring system most suitable for measurement under the above-mentioned measurement environment. According to this apparatus, a grating having a gray level of only black and white (a Ronchi grating) is used to project the grating onto a measurement object, and the signal obtained by imaging is A / D converted into a sinusoidal gray level. Based on the discovery that it can be regarded as a lattice with sine (sine lattice), the lattice pattern projection method (Journal of Precision Engineering, 53 , (3), pp4
22-426), by applying the analysis method in the fringe scanning method to the signal obtained using the Ronchi grating, a seismic isolation device is not required without using a laser beam that is a safety issue for the living body. Therefore, there are few geometric constraints on measurement, and the measurement can be completed in a short time.
It has become possible to obtain accurate three-dimensional shape measurement values by the fringe scanning method.
【０００４】また、特願平４−７７９６号において、上
記のシステムの測定精度を一層改善するためにロンキー
格子の替わりに使用される、正弦関数の濃度分布を有す
る格子板とその製造方法を提案している。前述の縞走査
法では、測定対象物の高さ（深さ）によって生じた変形
格子画像における位相の大きさを算出するために、格子
の位相を変えて測定対象物に投影し、それぞれにおいて
得られる画像から投影格子の位相を算出しているので、
１回の３次元形状測定のために複数回撮影する必要があ
り、そのための時間を要するという問題があった。ま
た、格子の位相を精度良くシフトさせるために高価な位
相シフタが必要であるという問題もあった。さらに、複
数画面分の画像データを蓄積するために大容量のメモリ
が必要であるという問題もあった。Further, in Japanese Patent Application No. 4-7796, a lattice plate having a concentration distribution of a sinusoidal function, which is used instead of the Ronchi lattice in order to further improve the measurement accuracy of the above system, and a manufacturing method thereof are proposed. is doing. In the above-mentioned fringe scanning method, in order to calculate the magnitude of the phase in the deformed grid image caused by the height (depth) of the measurement object, the phase of the grating is changed and projected onto the measurement object, and the Since the phase of the projection grating is calculated from the captured image,
There is a problem in that it is necessary to photograph a plurality of times for one-time three-dimensional shape measurement, which requires time. There is also a problem that an expensive phase shifter is required to shift the phase of the grating with high accuracy. Further, there is a problem that a large-capacity memory is required to store image data for a plurality of screens.
【０００５】そこで本願発明者は、Ｒ．Ｇｕ，Ｔ．Ｙｏ
ｓｈｉｚａｗａ，Ｐｒｏｃ．ＳＰＩＥ １７２０、４７
０（１９９２）において、１枚分の画像データから変形
格子画像の位相を計算するワンステップ位相シフト法に
よる３次元形状測定法を提案した。提案された手法で
は、格子板の平面がカメラの光学系の光軸に対して垂
直、すなわち、格子の投影系の光軸と撮像系の光軸とが
平行な系（以下平行軸系と称する）について、両光軸に
垂直な基準面へ投影されＣＣＤカメラで撮影された画像
における格子の周期が４画素分の長さになるように調整
し、ＣＣＤカメラで得られた画像の各画素について格子
線に直角な方向に連続する３画素の値から格子の位相を
算出している。投影系としては、タルボ効果を利用した
レーザ光による光学系が採用されている。Therefore, the inventor of the present invention has found that R. Gu, T .; Yo
shizawa, Proc. SPIE 1720 , 47
0 (1992), we proposed a three-dimensional shape measurement method by the one-step phase shift method that calculates the phase of a deformed lattice image from one image data. In the proposed method, the plane of the grating plate is perpendicular to the optical axis of the camera optical system, that is, the system in which the optical axis of the projection system of the grating and the optical axis of the imaging system are parallel (hereinafter referred to as the parallel axis system). ) Is adjusted so that the period of the lattice in the image projected by the CCD camera projected onto the reference plane perpendicular to both optical axes becomes 4 pixels long, and for each pixel of the image obtained by the CCD camera The phase of the lattice is calculated from the values of three pixels which are continuous in the direction perpendicular to the lattice line. As the projection system, an optical system using laser light that utilizes the Talbot effect is adopted.
【０００６】[0006]
【発明が解決しようとする課題】前述のワンステップ位
相シフト法では、投影系の光軸と撮像系の光軸とが本質
的に平行であるという要請があるため、投影系として安
価な点光源を用いた格子プロジェクタを採用すると、Ｃ
ＣＤカメラの視野内に明瞭な格子パターンが投影されな
いので、精度の良い測定ができないという問題がある。In the above-described one-step phase shift method, there is a demand that the optical axis of the projection system and the optical axis of the imaging system are essentially parallel to each other. If a grid projector using
Since a clear grid pattern is not projected in the visual field of the CD camera, there is a problem that accurate measurement cannot be performed.
【０００７】Ｓ．Ｔｏｙｏｏｋａ ｅｔ ａｌ．Ａｐｐ
ｌ．Ｏｐｔ．２５、１６３０（１９８６）には、投影系
の光軸と撮像系の光軸が交叉している系（以下交叉軸系
と称する）におけるワンステップ位相シフト法に相当す
る技術が開示されている。しかしながら、位相量の計算
に複雑な処理を要するという問題がある。したがって本
発明の目的は、交叉軸系のワンステップ位相シフト法に
おいて、比較的簡単な処理で、３次元形状測定値を得る
ことのできる３次元形状測定システムを提供することに
ある。S. Toyooka et al. App
l. Opt. 25 , 1630 (1986) discloses a technique corresponding to the one-step phase shift method in a system in which the optical axis of the projection system and the optical axis of the imaging system intersect (hereinafter referred to as the cross axis system). However, there is a problem that complicated processing is required to calculate the phase amount. Therefore, an object of the present invention is to provide a three-dimensional shape measuring system capable of obtaining a three-dimensional shape measurement value by a relatively simple process in the one-step phase shift method of the cross axis system.
【０００８】[0008]
【課題を解決するための手段並びに作用】本発明によれ
ば、測定対象物に格子パターンを投影する格子パターン
投影装置と、測定対象物に投影された格子パターンの２
次元画像を生成する撮像装置であって、その光学系の光
軸が該格子パターン投影装置の光学系の光軸と実質的に
交叉し、該交叉点を通る基準面に投影された格子パター
ンについて生成される２次元画像における格子線の周期
が、ｎを４以上の整数とするとき、ｎ画素分の長さにほ
ぼ等しくなるように設けられた撮像装置と、該撮像装置
が生成する２次元画像の各画素について、格子線に直角
な方向に近接するｎ画素のうちの少なくとも３画素の値
から位相量を算出する手段と、測定対象物について該位
相量算出手段が算出する位相量から、基準面について該
位相量算出手段が算出する位相量を対応する画素毎に減
算することによって位相量を画素毎に補正する手段と、
該位相量補正手段により補正された位相量に基づき、画
素毎に測定対象物の基準面からの距離を算出することに
より、測定対象物の３次元形状測定値を計算する手段と
を具備することを特徴とする３次元形状測定システムが
提供される。According to the present invention, there are provided a grid pattern projection device for projecting a grid pattern onto a measurement object and a grid pattern projected onto the measurement object.
An imaging device for generating a three-dimensional image, wherein the optical axis of the optical system substantially intersects the optical axis of the optical system of the grating pattern projection device, and the grating pattern projected on a reference plane passing through the intersection point An imaging device provided so that the period of the lattice lines in the generated two-dimensional image is approximately equal to the length of n pixels when n is an integer of 4 or more, and the two-dimensional image generated by the imaging device. For each pixel of the image, means for calculating the phase amount from the value of at least three pixels out of n pixels that are close to each other in the direction perpendicular to the grid line, and phase amount calculated by the phase amount calculating means for the measurement object, Means for correcting the phase amount for each pixel by subtracting the phase amount calculated by the phase amount calculation means for the reference plane for each corresponding pixel;
A means for calculating the three-dimensional shape measurement value of the measurement object by calculating the distance from the reference surface of the measurement object for each pixel based on the phase amount corrected by the phase amount correction means. A three-dimensional shape measuring system is provided.
【０００９】[0009]
【実施例】図１は本発明に係る３次元形状測定システム
の幾何学的配置を表わす。格子プロジェクタ１０の光軸
とＣＣＤカメラ１２の光軸は点Ｏにおいて交叉し、点Ｏ
を通りＣＣＤカメラ１２の光軸に垂直な基準面１４を想
定したとき、格子プロジェクタ１０の光学系の主点とＣ
ＣＤカメラ１２の光学系の主点とが基準面１４から等距
離Ｌにあり、また、格子プロジェクタ１０から投影され
ＣＣＤカメラ１２で生成される画像における格子線の周
期がほぼ４画素又は８画素に相当するように配置され
る。なお、格子プロジェクタ１０から投影される格子
は、既に述べたように、好ましくは正弦関数に従う濃度
分布を有する格子であるが、２値のみの濃淡を有するロ
ンキー格子でも良く、いずれの場合でも、精度の差こそ
あれ正弦関数に従う強度分布を有する格子画像が得られ
る。1 shows the geometrical arrangement of a three-dimensional shape measuring system according to the invention. The optical axis of the grating projector 10 and the optical axis of the CCD camera 12 intersect at a point O,
Assuming a reference plane 14 that passes through and is perpendicular to the optical axis of the CCD camera 12, the principal point of the optical system of the grating projector 10 and C
The principal point of the optical system of the CD camera 12 is equidistant from the reference plane 14 and the period of the lattice lines in the image projected by the lattice projector 10 and generated by the CCD camera 12 is approximately 4 pixels or 8 pixels. Arranged correspondingly. As described above, the grid projected from the grid projector 10 is preferably a grid having a density distribution according to a sine function, but it may be a Ronchi grid having only binary shades, and in any case, the accuracy is A grid image with an intensity distribution that follows a sinusoidal function is obtained.
【００１０】図１に示すように、交叉点Ｏを原点とし、
ＣＣＤカメラ１２の光軸上にｚ軸をとり、格子プロジェ
クタ１０の主点からＣＣＤカメラ１２の主点へ向かう方
向へｘ軸をとり、両軸に垂直な方向へｙ軸（図示せず）
をとる。ＣＣＤカメラ１０から測定対象１６へ投影され
ＣＣＤカメラ１２で撮影された変形格子画像の各点
（ｘ，ｙ）における輝度Ｉ（ｘ，ｙ）は、
Ｉ（ｘ，ｙ）＝Ｂ＋Ｃ・ｃｏｓ〔２πｆo ｘ＋φ（ｘ，ｙ）〕 （１）
で表わされる。（１）式中、Ｂは背景の輝度（オフセッ
ト）、Ｃは格子のコントラストを表わす。ｆo は、格子
プロジェクタ１０から基準平面１４に投影されＣＣＤカ
メラ１２で撮影された格子の画像の原点Ｏ近傍における
空間周波数、言い換えれば、図１の破線１８で示す原点
Ｏを通り格子プロジェクタ１０の光軸に垂直な面に格子
プロジェクタ１０から投影される格子が、格子プロジェ
クタ１０の光軸上の無限の遠方から投影されたと仮定し
たとき、すなわちテレセントリックの仮定のもとで、基
準平面１４上に投影されＣＣＤカメラ１２で撮影される
格子画像の空間周波数を表わす。φ（ｘ，ｙ）はこの様
な格子画像を基準としたときの変形格子画像の位相量を
表わす。As shown in FIG. 1, the intersection point O is the origin,
The z axis is taken on the optical axis of the CCD camera 12, the x axis is taken from the principal point of the grating projector 10 to the principal point of the CCD camera 12, and the y axis is perpendicular to both axes (not shown).
Take The brightness I (x, y) at each point (x, y) of the modified lattice image projected from the CCD camera 10 onto the measurement object 16 and photographed by the CCD camera 12 is I (x, y) = B + C · cos [2πf o x + φ (x, y)] (1) In the equation (1), B represents the brightness (offset) of the background, and C represents the contrast of the lattice. f o is the spatial frequency at the origin O near the grid photographed by the CCD camera 12 is projected from the grid projector 10 to the reference plane 14 the image, in other words, the street grid projector 10 the origin O shown by the broken line 18 of FIG. 1 When it is assumed that the grating projected from the grating projector 10 on a plane perpendicular to the optical axis is projected from an infinite distance on the optical axis of the grating projector 10, that is, under the telecentric assumption, the reference plane 14 is projected. It represents the spatial frequency of the lattice image projected and captured by the CCD camera 12. φ (x, y) represents the phase amount of the modified lattice image when such a lattice image is used as a reference.
【００１１】位相量φ（ｘ，ｙ）は、次の（２）式に示
すように、測定対象物の基準面１４からのｚ方向の偏位
に関連する位相量φobjectと、両光軸が平行でないこと
による位相量であって、ｚには無関係の位相量φ
constantの和で表わすことができる（Ｍ．Ｔａｋｅｄａ
ｅｔ ａｌ．Ａｐｐｌ．Ｏｐｔ．２２、３９７７（１
９８３))。The phase amount φ (x, y) is, as shown in the following equation (2), the phase amount φ object related to the displacement of the object to be measured from the reference plane 14 in the z direction and both optical axes. Is a phase amount due to not being parallel, and a phase amount φ unrelated to z
It can be represented by the sum of constants (M. Takeda
et al. Appl. Opt. 22 , 3977 (1
983)).
【００１２】
φ（ｘ，ｙ）＝φobject＋φconstant （２）
（２）式はφ（ｘ，ｙ）、φconstantが得られればそれ
らからφobjectが得られることを意味する。φobjectが
得られればそれから対象物の深さ（高さ）を表わすｚが
計算される。ところで、平行軸系においてはφconstant
はゼロであるから、（２）式は
φ（ｘ，ｙ）＝φobject （３）
となり、φ（ｘ，ｙ）の値が得られれば直ちにｚが計算
される。さらに、平行軸系において、基準面に投影され
た格子の画像の周期が４画素分の長さになるように配置
するとき、各画素（ｉ，ｊ）に対する位相シフト量φ
（ｉ，ｊ）は、ｘ軸方向に連続する３画素の値を使って
φ（ｉ，ｊ）＝ｔａｎ-1〔｛Ｉ（ｉ＋２，ｊ）−Ｉ（ｉ＋１，ｊ）｝
／｛Ｉ（ｉ，ｊ）−Ｉ（ｉ＋１，ｊ）｝〕
−（π／２）ｉ （４）
から計算される（前述のＲ．Ｇｕ，Ｔ．Ｙｏｓｈｉｚａ
ｗａ，Ｐｒｏｃ．ＳＰＩＥ １７２０、４７０（１９９
２))。Φ (x, y) = φ object + φ constant (2) Equation (2) means that if φ (x, y) and φ constant are obtained, φ object can be obtained from them. Once φ object is obtained, z representing the depth (height) of the object is calculated. By the way, in the parallel axis system, φ constant
Is zero, the equation (2) becomes φ (x, y) = φ object (3), and z is calculated immediately when the value of φ (x, y) is obtained. Further, in the parallel axis system, when the lattice image projected on the reference plane is arranged so that the period of the image is four pixels, the phase shift amount φ for each pixel (i, j)
(I, j) uses the values of three consecutive pixels in the x-axis direction and φ (i, j) = tan -1 [{I (i + 2, j) -I (i + 1, j)} / {I ( i, j) -I (i + 1, j)}]-(π / 2) i (4) (R. Gu, T. Yoshiza mentioned above)
wa, Proc. SPIE 1720 , 470 (199
2)).
【００１３】そこで、図１の交叉軸系についても基準面
１４に投影された格子の像の間隔が４画素にできるだけ
近くなるように配置し（例えば原点Ｏの近傍において４
画素とする）、（４）式の右辺の第１項と同じ計算によ
り、
ψ（ｉ，ｊ）＝ｔａｎ-1〔｛Ｉ（ｉ＋２，ｊ）−Ｉ（ｉ＋１，ｊ）｝
／｛Ｉ（ｉ，ｊ）−Ｉ（ｉ＋１，ｊ）｝〕 （５）
を計算する。Therefore, also in the cross axis system of FIG. 1, the lattice images projected on the reference plane 14 are arranged so that the distance between them is as close as possible to 4 pixels (for example, 4 in the vicinity of the origin O).
Pixel), and by the same calculation as the first term on the right side of Expression (4), ψ (i, j) = tan −1 [{I (i + 2, j) −I (i + 1, j)} / {I ( i, j) -I (i + 1, j)}] (5) is calculated.
【００１４】
ψ（ｉ，ｊ）＝φobject＋ψconstant （６）
と書き表わすとすると、（６）式の右辺の第２項のψ
constantには（２）式の右辺第２項のφconstantの他
に、（４）式の右辺の第２項に相当する成分、及び、実
際の格子画像の周期が４画素分の長さからずれることに
よる成分が含まれる。しかしながら、基準面１４の近傍
ではいずれもｚに依存しないと考えることができるか
ら、最初に、基準面１４についてψ（ｉ，ｊ）を測定す
れば、基準面についてはφobject＝０であるから、この
値がψconstantに相当し、ψconstantの値が各画素
（ｉ，ｊ）について得られる。これらを位相マップψ
constant（ｉ，ｊ）の形でメモリに格納しておき、測定
対象物について得られたψ（ｉ，ｊ）の値からψ
constant（ｉ，ｊ）の値を対応する画素毎に減算するこ
とにより、各画素（ｉ，ｊ）についてφobjectが計算さ
れる。If ψ (i, j) = φ object + ψ constant (6) is written, ψ of the second term on the right side of the equation (6) is expressed.
In addition to the φ constant of the second term on the right side of equation (2), the constant corresponds to the component corresponding to the second term on the right side of equation (4), and the period of the actual lattice image is 4 pixels long. The component due to the shift is included. However, in the vicinity of the reference plane 14, it can be considered that none of them depend on z. Therefore, if ψ (i, j) is first measured for the reference plane 14, φ object = 0 for the reference plane. this value corresponds to [psi constant, the value of [psi constant is obtained for each pixel (i, j). These are the phase maps ψ
It is stored in the memory in the form of constant (i, j), and ψ is calculated from the value of ψ (i, j) obtained for the measurement object.
φ object is calculated for each pixel (i, j) by subtracting the value of constant (i, j) for each corresponding pixel.
【００１５】測定対象物から得られるψ（ｉ，ｊ）とψ
constant（ｉ，ｊ）との対応関係について詳細に説明す
ると、測定対象物が基準面１４の近傍に置かれた凹凸の
あるものであるとき、同じ位置（ｉ，ｊ）にある画素ど
うしが対応する。基準面１４から離れた位置に置かれた
凹凸のある物体であるときは、格子像は全体的にｘ軸方
向へシフトするので、格子に付されたマークを基準とし
てψ（ｉ，ｊ）とψco nstant（ｉ，ｊ）のいずれか一方
を相対的にシフトさせて対応付ける、各画素についてφ
objectが得られれば、測定対象物の高さ（深さ）の分布
ｚ（ｉ，ｊ）は次の（７）式により計算される、
φobject＝２πｆo Ｗ・Ｚ（ｉ，ｊ）／｛Ｌ＋Ｚ（ｉ，ｊ）｝ （７）
（７）式中、Ｗは格子プロジェクタ１０の主点とＣＣＤ
カメラ１２の主点との距離を表わす。Ψ (i, j) and ψ obtained from the object to be measured
Explaining in detail the correspondence relationship with constant (i, j), when the measurement target is an uneven surface placed near the reference surface 14, pixels at the same position (i, j) correspond to each other. To do. When the object is an uneven object placed at a position distant from the reference plane 14, the lattice image shifts in the x-axis direction as a whole, so that ψ (i, j) is used as a reference with respect to the marks attached to the lattice. One of ψ co nstant (i, j) is relatively shifted to be associated with φ for each pixel.
If object is obtained, the distribution z (i, j) of the height (depth) of the measuring object is calculated by the following equation (7): φ object = 2πf o W · Z (i, j) / {L + Z (i, j)} (7) In the equation (7), W is the principal point of the grating projector 10 and the CCD.
It represents the distance from the principal point of the camera 12.
【００１６】１周期を８画素とした場合、（５）式から
単純に
ψ（ｉ，ｊ）＝ｔａｎ-1〔｛Ｉ（ｉ＋４，ｊ）−Ｉ（ｉ＋２，ｊ）｝
／｛Ｉ（ｉ，ｊ）−Ｉ（ｉ＋２，ｊ）｝〕 （８）
が導かれる。（８）式によりψ（ｉ，ｊ）を算出する場
合、６画素にわたって測定対象物の高さが変化しないと
いう仮定が必要であるから、空間分解能は（５）式の４
画素１周期の場合の１／２になる。When one period is 8 pixels, ψ (i, j) = tan -1 [{I (i + 4, j) -I (i + 2, j)} / {I (i , J) -I (i + 2, j)}] (8) is derived. When calculating ψ (i, j) by the equation (8), it is necessary to assume that the height of the measurement object does not change over 6 pixels, and therefore the spatial resolution is 4 in the equation (5).
It is half that of one pixel period.
【００１７】本発明によれば、８画素１周期の場合にお
いても、次式に従って連続する３画素からψ（ｉ，ｊ）
を算出することができる。
ψ（ｉ，ｊ）＝ｔａｎ-1〔（√２−１）・｛Ｉ（ｉ，ｊ）
−Ｉ（ｉ＋２，ｊ）｝／｛２Ｉ（ｉ＋１，ｊ）
−Ｉ（ｉ，ｊ）−Ｉ（ｉ＋２，ｊ）｝〕 （９）
（９）式によれば（５）式による場合と同じ空間分解能
が得られるとともに、２倍の周期を有する格子が使用さ
れるので、４画素１周期の場合よりもより急激な起伏を
有する対象物の測定が可能である。しかしながら、連続
する３画素における位相の変化が４画素１周期の場合と
比べて少ないので、精度の点では劣っている。したがっ
て、測定対象物の特性に応じて、格子を使い分けて測定
することが望ましい。According to the present invention, even in the case of one period of 8 pixels, ψ (i, j) is calculated from 3 consecutive pixels according to the following equation.
Can be calculated. ψ (i, j) = tan -1 [(√2-1) · {I (i, j) -I (i + 2, j)} / {2I (i + 1, j) -I (i, j) -I (I + 2, j)}] (9) According to the equation (9), the same spatial resolution as in the case of the equation (5) is obtained, and since a grating having a double period is used, one period of 4 pixels It is possible to measure objects that have more abrupt undulations than in the case. However, the change in phase in three consecutive pixels is smaller than that in one cycle of four pixels, which is inferior in accuracy. Therefore, it is desirable to use different grids for measurement according to the characteristics of the measurement target.
【００１８】図２及び図３は図１に示した測定システム
において得られる画像データを処理して３次元計測デー
タを得るための処理のフローチャートである。この処理
は図１のシステムに接続されたパーソナルコンピュータ
等によりオンラインで行なわれる。図２は基準面１４
（図１）についての位相量を測定してψconstant（ｉ，
ｊ）としてメモリへ格納するまでの処理のフローチャー
トである。まず所定の位置に基準面１４（図１）をセッ
トし（ステップａ）、格子プロジェクタ１０から格子を
投影し、ＣＣＤカメラ１２により画像データＩ（ｉ，
ｊ）を取り込む（ステップｂ）。Ｉ（ｉ，ｊ）の値か
ら、式（５）又は式（９）に従ってψ（ｉ，ｊ）を計算
する（ステップｃ）。ｔａｎ-1の計算にはルックアップ
テーブルを使用することが演算速度の点で好ましい。
（５）式又は（９）式により算出される位相量ψ（ｉ，
ｊ）は−π〜＋πの範囲に折り返されているので、同じ
次数の格子どうしを接続することによって各格子の次数
を決定し、位相の接続を行なう（ステップｄ）。位相の
接続後の位相量ψ（ｉ，ｊ）をψconstantとしてメモリ
へ格納する（ステップｅ）。2 and 3 are flowcharts of the processing for processing the image data obtained in the measuring system shown in FIG. 1 to obtain three-dimensional measurement data. This processing is performed online by a personal computer or the like connected to the system of FIG. 2 shows the reference surface 14
The phase amount for (Fig. 1) is measured and ψ constant (i,
9 is a flowchart of a process up to storing in a memory as j). First, the reference plane 14 (FIG. 1) is set at a predetermined position (step a), the grating is projected from the grating projector 10, and the CCD camera 12 causes the image data I (i,
j) is taken in (step b). From the value of I (i, j), ψ (i, j) is calculated according to equation (5) or equation (9) (step c). It is preferable to use a lookup table to calculate tan −1 in terms of calculation speed.
Phase amount ψ (i, i calculated by equation (5) or equation (9)
Since j) is folded back in the range of −π to + π, the orders of the respective lattices are determined by connecting the lattices of the same order, and the phases are connected (step d). The phase amount ψ (i, j) after the phase connection is stored in the memory as ψ constant (step e).
【００１９】図３は測定対象物１６の画像の各画素
（ｉ，ｊ）について高さ（深さ）データＺ（ｉ，ｊ）を
得る処理のフローチャートである。測定対象物１６を所
定の位置にセットした後（ステップａ）、図２のステッ
プｂ〜ｄの処理と同一の処理により、位相接続された位
相量ψ（ｉ，ｊ）を得る（ステップｂ〜ｄ）。次に、メ
モリに格納されているψconstantの値を対応する画素毎
に減算してψobjectを計算する（ステップｅ）。さらに
式（７）によりＺ（ｉ，ｊ）の値を計算する（ステップ
ｆ）。FIG. 3 is a flowchart of a process for obtaining height (depth) data Z (i, j) for each pixel (i, j) of the image of the measuring object 16. After setting the measurement object 16 at a predetermined position (step a), the phase-connected phase amount ψ (i, j) is obtained by the same processing as the processing of steps b to d of FIG. d). Next, the value of ψ constant stored in the memory is subtracted for each corresponding pixel to calculate ψ object (step e). Further, the value of Z (i, j) is calculated by the equation (7) (step f).
【００２０】以下に、実際に行なわれる３次元計測の手
順の詳細について説明する。The details of the three-dimensional measurement procedure that is actually performed will be described below.
【００２１】光学系の初期設定
光学系の設定の際の誤差は求めた位相に含まれるため、
光学系の設定は厳密に行わなければならない、設定は以
下の（１）から（４）の順序でおこなう。
１）観察系（ＣＣＤカメラ）と基準面の設定方法
ＣＣＤカメラ１２の光軸と基準面１４を直角に設定す
る。基準面は以後の設定においても重要であるのでまず
最初にこれを行う。 Initial Setting of Optical System Since the error in setting the optical system is included in the obtained phase,
The setting of the optical system must be strictly performed. The setting is performed in the order of (1) to (4) below. 1) Setting method of observation system (CCD camera) and reference plane The optical axis of the CCD camera 12 and the reference plane 14 are set at right angles. This is done first because the reference plane is also important in subsequent settings.
【００２２】基準面１４上に一定のピッチの格子パター
ンを描き、それをＣＣＤカメラで撮り込む。理想の格子
パターンをモニタ上に描きこの基準面上の画像をモニタ
上で重ね合わせる、そのとき両格子線によってモアレ縞
が発生する。そのモアレ縞が平行かつモアレ縞の間隔が
一定になるようにＣＣＤカメラ１２の向きをｘ，ｙ，ｚ
各々の軸に対して調整し設定する。A grid pattern having a constant pitch is drawn on the reference plane 14, and the pattern is taken by a CCD camera. An ideal lattice pattern is drawn on the monitor and the images on the reference plane are superimposed on the monitor. At that time, moire fringes are generated by both lattice lines. The direction of the CCD camera 12 is set to x, y, z so that the moire fringes are parallel and the distance between the moire fringes is constant.
Adjust and set for each axis.
【００２３】２）観察系と投影系（格子および投影レン
ズ）の設定方法
格子プロジェクタ１０から基準面１４に格子パターンを
投影しＣＣＤカメラ１２で撮り込む。その画像と画面上
に描いた理想の格子パターン画像とをモニタ上で重ね合
わせる。そのとき発生するモアレ縞が平行になるように
格子プロジェクタ１０内の格子、投影レンズの向きを
ｘ，ｙ，ｚ各々の軸に対して調整し設定する。2) Method of setting observation system and projection system (grating and projection lens) A grating pattern is projected from the grating projector 10 onto the reference plane 14 and taken by the CCD camera 12. The image and the ideal lattice pattern image drawn on the screen are superimposed on the monitor. The directions of the grating and the projection lens in the grating projector 10 are adjusted and set with respect to the x, y, and z axes so that the moire fringes generated at that time are parallel.
【００２４】３）ＣＣＤカメラのレンズと投影レンズの
主点の位置の設定方法
ＣＣＤカメラ１２のレンズと投影レンズの主点の位置
（基準面からの距離）を合わせる。格子パターンの代わ
りに縦２本のみの縞のパターンを基準面１４に投影し、
それをＣＣＤカメラで撮り込む。基準面を前後に位置を
変え、同様にそれぞれの画像を撮り込む。ここでカメラ
レンズと投影レンズの主点の位置が一致していれば、Ｃ
ＣＤカメラ１２で撮り込んだそれぞれの画像上で２本の
縞の間隔は等しいことになる。したがって、この間隔が
等しくなるように格子プロジェクタ１０の投影レンズの
位置をｚ軸方向に調整し設定する。3) Setting method of principal points of CCD camera lens and projection lens The principal point positions (distance from the reference plane) of the CCD camera 12 lens and projection lens are matched. Instead of the lattice pattern, a pattern of only two vertical stripes is projected on the reference plane 14,
I photograph it with a CCD camera. Change the position of the reference plane back and forth and take each image in the same way. Here, if the positions of the principal points of the camera lens and the projection lens match, C
The intervals between the two stripes are equal on each image taken by the CD camera 12. Therefore, the position of the projection lens of the grating projector 10 is adjusted and set in the z-axis direction so that this interval becomes equal.
【００２５】４）パラメータの決定
三次元座標の算出のためＬ，ｗ，ｆo を決定する。レン
ズの主点から基準面までの距離Ｌは、直接測定すること
はできないので次のように求める。ＣＣＤカメラ１２と
基準面１４を前方にｌ1 及び後方にｌ2 動かして、それ
ぞれについて基準面１４にあらかじめ印した２点間の距
離ｄ1 ，ｄ2 をそれぞれ測定すると、Ｌは幾何学的な関
係から次式によって求められる。[0025] 4) L for the calculation of the parameters of determining the three-dimensional coordinates, w, to determine the f o. The distance L from the principal point of the lens to the reference surface cannot be directly measured, and is calculated as follows. When the CCD camera 12 and the reference plane 14 are moved forward by l 1 and backward by l 2 and the distances d 1 and d 2 between the two points previously marked on the reference plane 14 are measured respectively, L is a geometrical value. It is calculated from the relationship by the following formula.
【００２６】
ｗは投影レンズとＣＣＤカメラのレンズとの主点間の距
離を測定することによって得られる。[0026] w is obtained by measuring the distance between the principal points of the projection lens and the CCD camera lens.
【００２７】ｆo は基準面１４に投影された格子パター
ンの１周期に相当する実際の長さの逆数であるが、次の
ようにして求める。格子を９０°回転させて投影すると
ピッチが一定になるので、その像をＣＣＤカメラ１２で
取込みフーリエ変換することによって空間周波数ｆo を
決定することができる。Although f o is the reciprocal of the actual length corresponding to one period of the lattice pattern projected on the reference plane 14, it is obtained as follows. The pitch when projected grating is rotated 90 ° is constant, it is possible to determine the spatial frequency f o by uptake Fourier transform the image by the CCD camera 12.
【００２８】形状計測手順
三次元座標を算出するためには基準面、物体表面上とも
に基準となる点が必要となる。ある縞に注目したとき、
物体表面による縞の変形量を求めるにはその縞がどれだ
けずれているのか、算出しなければならない。したがっ
て、三次元座標を算出するためには投影する格子にラベ
リングを行う必要がある。そこで、ガラスにマーク（基
準面上で約０．３×３mmの長方形状）をつけたものを格
子と同時に投影する。 Shape Measuring Procedure In order to calculate three-dimensional coordinates, a reference point is required on both the reference surface and the object surface. When I noticed a certain stripe,
In order to obtain the amount of deformation of the stripe due to the surface of the object, it is necessary to calculate how much the stripe is displaced. Therefore, in order to calculate the three-dimensional coordinates, it is necessary to label the projected grid. Therefore, glass with a mark (a rectangular shape of about 0.3 × 3 mm on the reference plane) is projected at the same time as the grating.
【００２９】まず基準面の位置でのマークの位置（原
点）をマークの重心を求めることによって求め、それか
ら物体表面上のマークの位置（基準点）を同様に求める
ことによって物体上の基準点の座標を算出する。計測手
順としては、投影する格子パターンのピッチの補正およ
び原点を決めるために格子パターンを基準平面に投影
し、ＣＣＤカメラで画像を撮り込む。そして基準平面の
位相分布をあらかじめ求めておく。また、マークの中心
の位置をその強度の重心から求め、それを原点としてお
く。First, the position of the mark at the position of the reference plane (origin) is determined by determining the center of gravity of the mark, and then the position of the mark on the surface of the object (reference point) is similarly determined to determine the reference point on the object. Calculate the coordinates. As a measurement procedure, the grid pattern is projected on a reference plane to correct the pitch of the projected grid pattern and to determine the origin, and an image is captured by a CCD camera. Then, the phase distribution of the reference plane is obtained in advance. In addition, the position of the center of the mark is obtained from the center of gravity of the strength, and this is set as the origin.
【００３０】次に、測定対象物を設置し、その変形格子
像をＣＣＤカメラで撮り込み、位相分布、基準点の位置
を求める。位相計算、位相つなぎを行い、原点からの基
準点の変位に基いて、基準面の位相分布と測定対象物に
ついて求められた位相分布とを相互に対応付けて減算す
ることにより補正を行ない、三次元座標を算出する。結
果は等高線図、ワイヤーフレーム、サーフェイスモデル
で表示をおこなう。Next, the object to be measured is set and the deformed lattice image is photographed by the CCD camera to obtain the phase distribution and the position of the reference point. Perform phase calculation and phase connection, and based on the displacement of the reference point from the origin, perform the correction by subtracting the phase distribution of the reference surface and the phase distribution obtained for the measurement object by associating them with each other. Calculate the original coordinates. The results are displayed as contour plots, wireframes, and surface models.
【００３１】図４には目尻付近の皮膚のレプリカの３次
元形状測定の結果をワイヤーフレームモデルにより示
す。FIG. 4 shows the result of the three-dimensional shape measurement of the skin replica near the outer corner of the eye by a wire frame model.
【００３２】[0032]
【発明の効果】以上述べてきたように本発明によれば、
比較的簡単な処理により、交叉軸系のワンステップ位相
シフト法による３次元形状測定が可能となる。As described above, according to the present invention,
By a relatively simple process, it becomes possible to measure the three-dimensional shape by the one-step phase shift method of the cross axis system.
【図１】本発明の３次元形状測定装置の光学系の幾何学
配置を表わす図である。FIG. 1 is a diagram showing a geometrical arrangement of an optical system of a three-dimensional shape measuring apparatus of the present invention.
【図２】基準面の位相分布ψconstantを得るための処理
のフローチャートである。FIG. 2 is a flowchart of a process for obtaining a phase distribution ψ constant of a reference plane.
【図３】測定対象物の高さ分布を得るための処理のフロ
ーチャートである。FIG. 3 is a flowchart of a process for obtaining a height distribution of a measurement target.
【図４】本発明の３次元形状測定装置による測定結果の
一例をワイヤーフレームモデルにより表わす図である。FIG. 4 is a diagram showing an example of a measurement result by the three-dimensional shape measuring apparatus of the present invention by a wire frame model.
１０…格子プロジェクタ １２…ＣＣＤカメラ １４…基準面 10 ... Lattice projector 12 ... CCD camera 14 ... Reference plane
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−278406（ＪＰ，Ａ) 特開 平２−271208（ＪＰ，Ａ) 特公 平３−38524（ＪＰ，Ｂ２) 吉澤徹編，光三次元計測，日本，新技 術コミュニケーションズ，1998年12月14 日，ｐｐ．116−121 (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/24 A61B 5/107 G01C 3/06 G06T 7/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-4-278406 (JP, A) JP-A-2-271208 (JP, A) JP-B-3-38524 (JP, B2) Edited by Toru Yoshizawa, Hikari Three-dimensional measurement, Japan, New Technology Communications, December 14, 1998, pp. 116-121 (58) Fields surveyed (Int.Cl. 7 , DB name) G01B 11/24 A61B 5/107 G01C 3/06 G06T 7/00
Claims (3)
子パターン投影装置と、 測定対象物に投影された格子パターンの２次元画像を生
成する撮像装置であって、その光学系の光軸が該格子パ
ターン投影装置の光学系の光軸と実質的に交叉し、該交
叉点を通る基準面に投影された格子パターンについて生
成される２次元画像における格子線の周期が、ｎを４以
上の整数とするとき、ｎ画素分の長さにほぼ等しくなる
ように設けられた撮像装置と、 該撮像装置が生成する２次元画像の各画素について、格
子線に直角な方向に近接するｎ画素のうちの少なくとも
３画素の値から位相量を算出する手段と、 測定対象物について該位相量算出手段が算出する位相量
から、基準面について該位相量算出手段が算出する位相
量を対応する画素毎に減算することによって位相量を画
素毎に補正する手段と、 該位相量補正手段により補正された位相量に基づき、画
素毎に測定対象物の基準面からの距離を算出することに
より、測定対象物の３次元形状測定値を計算する手段と
を具備することを特徴とする３次元形状測定システム。1. A grid pattern projection device for projecting a grid pattern onto a measurement target, and an imaging device for generating a two-dimensional image of the grid pattern projected onto the measurement target, wherein the optical axis of the optical system is The period of the lattice lines in a two-dimensional image generated for a lattice pattern projected on a reference plane that substantially intersects the optical axis of the optical system of the lattice pattern projection device and passes through the intersection is such that n is an integer of 4 or more. Then, regarding the image pickup device provided so as to have a length substantially equal to n pixels, and each pixel of the two-dimensional image generated by the image pickup device, among the n pixels adjacent to each other in the direction perpendicular to the grid line, For calculating the phase amount from the value of at least 3 pixels, and the phase amount calculated by the phase amount calculating unit for the reference surface from the phase amount calculated by the phase amount calculating unit for each pixel. Subtract Therefore, the phase amount is corrected for each pixel, and the distance from the reference plane of the measurement object is calculated for each pixel based on the phase amount corrected by the phase amount correction means. And a means for calculating a three-dimensional shape measurement value.
手段は、格子線に直角な方向に連続する３画素の値から
位相量を算出する請求項１記載の３次元形状測定システ
ム。2. The three-dimensional shape measuring system according to claim 1, wherein the integer n is 4, and the phase amount calculating means calculates the phase amount from the values of three pixels consecutive in a direction perpendicular to the grid line.
手段は、格子線に直角な方向に連続する３画素の値から
位相量を算出する請求項１記載の３次元形状測定システ
ム。3. The three-dimensional shape measuring system according to claim 1, wherein the integer n is 8, and the phase amount calculating means calculates the phase amount from the values of three pixels consecutive in the direction perpendicular to the grid line.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04914594A JP3370418B2 (en) | 1994-03-18 | 1994-03-18 | 3D shape measurement system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04914594A JP3370418B2 (en) | 1994-03-18 | 1994-03-18 | 3D shape measurement system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07260451A JPH07260451A (en) | 1995-10-13 |
| JP3370418B2 true JP3370418B2 (en) | 2003-01-27 |
Family
ID=12822930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04914594A Expired - Fee Related JP3370418B2 (en) | 1994-03-18 | 1994-03-18 | 3D shape measurement system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3370418B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2277855A1 (en) * | 1999-07-14 | 2001-01-14 | Solvision | Method and system of measuring the height of weld beads in a printed circuit |
| JP4538924B2 (en) * | 2000-08-30 | 2010-09-08 | 沖電気工業株式会社 | Eye imaging device |
| JP5943547B2 (en) * | 2007-08-17 | 2016-07-05 | レニショウ パブリック リミテッド カンパニーＲｅｎｉｓｈａｗ Ｐｕｂｌｉｃ Ｌｉｍｉｔｅｄ Ｃｏｍｐａｎｙ | Apparatus and method for non-contact measurement |
| JP5056662B2 (en) * | 2008-08-07 | 2012-10-24 | ソニー株式会社 | Subcutaneous pattern acquisition device, subcutaneous pattern acquisition method, and structure template |
| GB0915904D0 (en) | 2009-09-11 | 2009-10-14 | Renishaw Plc | Non-contact object inspection |
| JP5611022B2 (en) * | 2010-12-20 | 2014-10-22 | キヤノン株式会社 | Three-dimensional measuring apparatus and three-dimensional measuring method |
| US10267626B2 (en) | 2014-06-30 | 2019-04-23 | 4D Sensor Inc. | Measurement method, measurement apparatus, measurement program and computer readable recording medium in which measurement program has been recorded |
| EP3441715A4 (en) | 2016-04-06 | 2019-11-13 | 4d Sensor Inc. | Measurement method, measurement device, measurement program, and computer-readable recording medium having measurement program recorded thereon |
-
1994
- 1994-03-18 JP JP04914594A patent/JP3370418B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 吉澤徹編，光三次元計測，日本，新技術コミュニケーションズ，１９９８年１２月１４日，ｐｐ．１１６−１２１ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07260451A (en) | 1995-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288642B (en) | Three-dimensional object rapid reconstruction method based on camera array | |
| US8792707B2 (en) | Phase analysis measurement apparatus and method | |
| US9322643B2 (en) | Apparatus and method for 3D surface measurement | |
| EP1192414B1 (en) | Method and system for measuring the relief of an object | |
| Su et al. | Dynamic 3-D shape measurement method based on FTP | |
| JP5029618B2 (en) | Three-dimensional shape measuring apparatus, method and program by pattern projection method | |
| US6445807B1 (en) | Image processing method and apparatus | |
| Breque et al. | Calibration of a system of projection moiré for relief measuring: biomechanical applications | |
| EP3915511A1 (en) | Motion blur compensation | |
| CN107131848A (en) | The optical triangle method device of quick and fine and close SHAPE DETECTION can be realized | |
| JP2011504586A (en) | Method for optically measuring the three-dimensional shape of an object | |
| Yang et al. | Flexible and accurate implementation of a binocular structured light system | |
| JPH1038533A (en) | Instrument and method for measuring shape of tire | |
| JP3370418B2 (en) | 3D shape measurement system | |
| JPH09218022A (en) | Contour determination method for diffusion surface of work | |
| JP2015523108A (en) | How to measure dental conditions | |
| Berssenbrügge et al. | Characterization of the 3D resolution of topometric sensors based on fringe and speckle pattern projection by a 3D transfer function | |
| JP3540321B2 (en) | Method for correlating three-dimensional measurements obtained by an image acquisition system and apparatus for implementing the same | |
| JP3637416B2 (en) | Three-dimensional measurement method, three-dimensional measurement system, image processing apparatus, and computer program | |
| Huang et al. | 3-D Optical measurement using phase shifting based methods | |
| Kofman et al. | Multiple-line full-field laser-camera range sensor | |
| Han et al. | Combined stereovision and phase shifting method: use of a visibility-modulated fringe pattern | |
| Singh | High dynamic range 3D scanning using fringe projection profilometry | |
| Yeh | Motion-induced error reduction for dynamic 3D shape measurements using color fringe projection | |
| Guidi et al. | Accuracy verification and enhancement in 3D modeling: application to Donatello's Maddalena |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021008 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |