JP2002228425A - Real-time shape measuring method and device by ccd camera through use of dmd - Google Patents

Real-time shape measuring method and device by ccd camera through use of dmd

Info

Publication number
JP2002228425A
JP2002228425A JP2001026564A JP2001026564A JP2002228425A JP 2002228425 A JP2002228425 A JP 2002228425A JP 2001026564 A JP2001026564 A JP 2001026564A JP 2001026564 A JP2001026564 A JP 2001026564A JP 2002228425 A JP2002228425 A JP 2002228425A
Authority
JP
Japan
Prior art keywords
phase
dmd
real
ccd
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001026564A
Other languages
Japanese (ja)
Other versions
JP3507865B2 (en
Inventor
Yoshiharu Morimoto
吉春 森本
Motoharu Fujigaki
元治 藤垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wakayama University
Original Assignee
Wakayama University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wakayama University filed Critical Wakayama University
Priority to JP2001026564A priority Critical patent/JP3507865B2/en
Publication of JP2002228425A publication Critical patent/JP2002228425A/en
Application granted granted Critical
Publication of JP3507865B2 publication Critical patent/JP3507865B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Mechanical Light Control Or Optical Switches (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a CCD camera for measuring a real-time shape capable of obtaining an contour line image or an equal displacement line image with small errors by a phase-shift scanning moire method even in the case that an object moves. SOLUTION: The image of the object is once formed in a DMD surface, and the image formed in the DMD surface is further passed through a lens to form an image in a CCD surface. In the case of photographing the contour line image, a lattice is projected to the sample object while the lattice is phase- shifted, and photographing is performed while the ON/OFF of each mirror of the DMD is controlled according to the amount of phase-shift of the projection lattice during the photographing of one frame by the CCD. In the case of photographing the equal displacement line image, the lattice is projected to the sample object while the lattice is phase-shifted, and photographing is performed while pixels to be turned on and off of each mirror of the DMD are controlled according to the amount of the phase shift of the projection lattice during the photographing of one frame by the CCD on the basis of a previously obtained phase distribution prior to deformation of the object.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、物体の形状及び変
形量を計測する非接触形状計測装置に関し、特に、位相
をシフトしながら物体に投影された格子を用いる形状計
測方法によってテレビカメラのフレームレート(1/3
0秒)の間に撮影された格子画像からリアルタイムに形
状を表す等高線画像及び変形量を表す等変位線画像を得
ることができる実時間形状計測用CCDカメラと、この
ような実時間形状計測用CCDカメラを使用する実時間
等高線表示方法及び実時間等変位線表示方法と、実時間
等高線表示システム及び実時間等変位線表示システムに
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a non-contact shape measuring apparatus for measuring the shape and deformation of an object, and more particularly, to a frame of a television camera by a shape measuring method using a grid projected on the object while shifting the phase. Rate (1/3
0 seconds), a real-time shape measuring CCD camera capable of obtaining a contour image representing a shape and an iso-displacement image representing an amount of deformation in real time from a lattice image taken during 0 seconds); The present invention relates to a real-time contour display method and a real-time contour displacement display method using a CCD camera, and a real-time contour display system and a real-time contour displacement display system.

【0002】[0002]

【従来の技術】非接触で物体の3次元形状計測を行う従
来の方法としては、物体に投影された格子の歪みを解析
する方法がよく用いられていた。物体に等ピッチの格子
を投影し別の方向からテレビカメラで撮影すると、物体
の形状に応じて歪んだ格子画像が得られる。この画像か
ら形状分布を得る方法として、走査モアレ法やフーリエ
変換モアレ法/格子法などの位相解析法が開発されてい
る。変位分布を表示するには、まず変形前後の形状デー
タを計測し、その差として変位量を算出して表示する方
法がこれまで多く用いられていた。
2. Description of the Related Art As a conventional method for measuring a three-dimensional shape of an object in a non-contact manner, a method of analyzing a distortion of a grid projected on the object has been often used. When a grid of equal pitch is projected on an object and photographed by a television camera from another direction, a grid image distorted according to the shape of the object is obtained. As a method of obtaining a shape distribution from this image, phase analysis methods such as a scanning moiré method and a Fourier transform moiré method / grating method have been developed. In order to display the displacement distribution, a method of first measuring shape data before and after deformation and calculating and displaying a displacement amount as a difference between them has been used in many cases.

【0003】走査モアレ法は、格子画像を等ピッチごと
に間引くことで等高線を意味するモアレ縞を得る方法で
ある。この方法は単純な画像処理で実現できるため、非
常に高速に結果を得ることができるが、ノイズの多い等
高線画像となってしまう欠点がある。フーリエ変換モア
レ法/格子法などの位相解析法では、精度のよい計測が
可能であり、変位量も算出することができるが、処理に
時間がかかるという欠点がある。
The scanning moiré method is a method of obtaining moiré fringes meaning contour lines by thinning a lattice image at equal pitches. Since this method can be realized by simple image processing, it is possible to obtain a result at a very high speed, but there is a disadvantage that a contour image having a lot of noise is obtained. In the phase analysis method such as the Fourier transform moiré method / grid method, accurate measurement is possible and the displacement amount can be calculated, but there is a disadvantage that the processing takes time.

【0004】上述した欠点を克服し、物体の形状を表す
等高線画像と、変形量を表す等変位線画像とをリアルタ
イムに得るための従来の方法としては、例えば、本発明
者等を含む金汪根、藤垣元治及び森本吉春による「位相
シフト走査モアレ法によるノイズのない等高線・等変位
線表示システムの開発」第2回知能メカトロニクスワー
クショップ、精密工学会、1997年、29〜34ペー
ジと、特許第2903111号「形状変形計測方法」と
において記載されている位相シフト走査モアレ方法があ
る。この方法では、連続的に位相をシフトしながら物体
に投影された格子を撮影した複数枚の画像から、高分解
能の等高線画像及び等変位線画像を得ていた。
Conventional methods for overcoming the above-mentioned drawbacks and obtaining in real time a contour image representing the shape of an object and an iso-displacement image representing the amount of deformation include, "Development of Noise-free Contour and Displacement Line Display System by Phase Shift Scanning Moiré Method" by Motoharu Fujigaki and Yoshiharu Morimoto, 2nd Intelligent Mechatronics Workshop, Precision Engineering Society, 1997, pp. 29-34, Patent There is a phase shift scanning moiré method described in No. 2903111 “Method for measuring shape deformation”. In this method, a high-resolution contour line image and a constant displacement line image are obtained from a plurality of images obtained by photographing a lattice projected on an object while continuously shifting the phase.

【0005】従来の位相シフト走査モアレ法において
は、物体に投影した格子を、投影格子の位相シフト回数
分だけ撮影し、撮影された複数の画像からそれぞれの位
相シフト量に応じた画素の輝度データを抽出し、重ね合
わせることで等高線画像又は等変位線画像を得ていた。
この従来の方法によって実時間において等高線画像や等
変位線画像を得る場合、投影格子の位相シフトをCCD
のフレーム撮影時間ごとに1回行い、撮影された画像を
メモリに順次記憶していく。1周期分の位相シフトが完
了した後は、メモリに記憶しておいた直前の1周期分の
位相シフト画像から上記のように位相シフト量に応じた
画素の輝度データをそれぞれ抽出し、重ね合わせること
で等高線画像又は等変位線画像を得る。等高線画像を得
る場合、抽出する画素は、投影格子と同じピッチで、幅
が1画素の等間隔の格子状の画素の並びである。この抽
出する位置を、位相シフト量が増えるごとに1列ずつ移
動させる。等変位線画像を得る場合、抽出する画素は、
投影格子の位相シフト量と、予め求めておいた変形前の
物体への投影格子の位相値とが一致している画素であ
る。
In the conventional phase shift scanning moiré method, a grid projected on an object is photographed by the number of phase shifts of the projection grating, and luminance data of pixels corresponding to the respective phase shift amounts are obtained from a plurality of photographed images. Were extracted and superimposed to obtain a contour image or a displacement image.
When a contour image or a displacement line image is obtained in real time by this conventional method, the phase shift of the projection
Is performed once for each frame shooting time, and the shot images are sequentially stored in the memory. After the phase shift for one cycle is completed, the luminance data of the pixel corresponding to the phase shift amount is extracted from the phase shift image for one cycle just before stored in the memory as described above, and is superimposed. Thus, a contour image or a displacement line image is obtained. When a contour image is obtained, the pixels to be extracted are a grid of pixels having the same pitch as the projection grid and a uniform width of one pixel. The position to be extracted is moved by one row every time the phase shift amount increases. When obtaining an equidistant line image, the pixels to be extracted are:
This is a pixel in which the phase shift amount of the projection grating and the phase value of the projection grating onto the object before deformation, which are obtained in advance, match.

【0006】このように、1フレームの撮影を行うたび
に直前の1周期分の位相シフト画像を用いて等高線画像
又は等変位線画像を得ることができるため、毎フレーム
ごとに結果が得られることになる。ここでは、撮影のフ
レーム時間ごとに結果が得られることを実時間と呼んで
いる。
As described above, a contour line image or a constant displacement line image can be obtained by using the phase shift image of one cycle immediately before each time one frame is photographed, so that a result can be obtained for each frame. become. Here, the fact that a result is obtained for each shooting frame time is called real time.

【0007】[0007]

【発明が解決しようとする課題】しかしながら、上述し
たような従来の位相シフト走査モアレ法では、実時間で
結果を得ることはできるが、過去に撮影した複数枚の画
像を用いるため、物体が動く場合には誤差が大きくなっ
てしまうという欠点があった。
However, in the conventional phase shift scanning moiré method as described above, a result can be obtained in real time, but since a plurality of images taken in the past are used, the object moves. In this case, there is a disadvantage that the error becomes large.

【0008】上述したことを鑑み、本発明の目的は、位
相シフト走査モアレ法によって物体が動く場合でも小さ
い誤差で等高線画像又は等変位線画像を実時間で得るこ
とができる実時間形状計測用CCDカメラを提供するこ
とである。本発明の他の目的は、このような実時間形状
計測用CCDカメラ使用する実時間等高線表示方法とこ
のような方法を実行するシステムとを提供することであ
る。本発明のさらに他の目的は、このような実時間形状
計測用CCDカメラを使用する実時間等変位線表示方法
とこのような方法を実行するシステムとを提供すること
である。
In view of the above, it is an object of the present invention to provide a real-time shape measurement CCD capable of obtaining a contour image or a displacement image in real time with a small error even when an object moves by the phase shift scanning moiré method. Is to provide a camera. It is another object of the present invention to provide a real-time contour display method using such a real-time shape measurement CCD camera and a system for executing such a method. Still another object of the present invention is to provide a method for displaying a real-time iso-displacement line using such a real-time shape measuring CCD camera and a system for executing such a method.

【0009】[0009]

【課題を解決するための手段】本発明による実時間形状
計測用CCDカメラは、DMDと、前記DMDの表面に
物体の像を結像する第1レンズと、CCDと、前記DM
Dの表面に反射された像をさらに前記CCDに結像する
第2レンズとを具えることを特徴とする。
A CCD camera for real-time shape measurement according to the present invention includes a DMD, a first lens for forming an image of an object on a surface of the DMD, a CCD, and the DMD.
A second lens for further forming an image reflected on the surface of D on the CCD.

【0010】DMD(Digital Micro−m
irror Device)は、画素ごとにオン/オフ
を高速に制御できる反射ミラーとして、これまでプロジ
ェクタとして用いられてきた。本発明では、DMDとC
CDカメラを組み合わせることで、CCDカメラの画素
ごとに高速のシャッタを取り付けるのと同様の効果を得
ている。図1は、DMDの基本的動作を説明する図であ
る。DMDは、縦横にDMDが並べられた構造をしてい
る。画素の数は縦横にそれぞれ数百〜1千画素程度のも
のが造られている。図1は、DMD素子を側面から見た
図であり、実際よりも画素数を減らして図式的に示して
いる。図1において、各DMD画素は、入力されるオン
/オフ信号に応じて、オンの時は下向きに、オフの時は
上向きになるように向きを変える。ここでは、DMD正
面からの入射光に対するオンの時の反射光の向きをDM
D反射角と呼ぶ。DMD正面から入射した光は、DMD
画素の向きに応じて上方向又は下方向に反射される。し
たがって、入射光のうち、一部だけをオン/オフパター
ン信号によって選択的に取り出すことができる。一般的
なDMDプロジェクタもこのような性質を利用してい
る。
[0010] DMD (Digital Micro-m)
The “error device” has heretofore been used as a projector as a reflection mirror capable of controlling ON / OFF of each pixel at high speed. In the present invention, DMD and C
By combining a CD camera, the same effect as mounting a high-speed shutter for each pixel of the CCD camera is obtained. FIG. 1 is a diagram illustrating the basic operation of the DMD. The DMD has a structure in which DMDs are arranged vertically and horizontally. The number of pixels is about several hundred to 1,000 pixels each in the vertical and horizontal directions. FIG. 1 is a diagram of the DMD element viewed from the side, and schematically shows the number of pixels smaller than the actual number. In FIG. 1, each DMD pixel changes its direction according to an input on / off signal so that it turns downward when on and upward when off. Here, the direction of the reflected light when ON with respect to the incident light from the front of the DMD is DM
It is called D reflection angle. The light incident from the front of the DMD
The light is reflected upward or downward depending on the direction of the pixel. Therefore, only a part of the incident light can be selectively extracted by the ON / OFF pattern signal. General DMD projectors also utilize such properties.

【0011】本発明による等高線画像撮影方法は、前記
実時間形状計測用CCDカメラを使用し、格子を試料物
体に位相シフトしながら投影し、前記CCDで1フレー
ム撮影する間に前記DMDの各ミラーのオン/オフを前
記投影格子の位相シフト量に応じて制御しながら撮影す
ることを特長とする。本発明による等高線画像撮影シス
テムは、前記実時間形状計測用CCDカメラと、格子を
試料物体に位相シフトしながら投影する手段とを具え、
前記実時間形状計測用CCDカメラを、前記CCDで1
フレーム撮影する間に前記DMDの各ミラーのオン/オ
フを前記投影格子の位相シフト量に応じて制御するよう
に構成したことを特長とする。DMDと組み合わされた
CCDカメラを用いることで、位相をシフトしながら投
影された格子を用いる形状計測方法において、形状を表
す等高線画像を撮影フレームごとに得ることができる。
The contour image photographing method according to the present invention uses the CCD camera for real-time shape measurement, projects the grating onto the sample object while shifting the phase, and captures one frame of the DMD while photographing one frame with the CCD. It is characterized in that photographing is performed while ON / OFF of is controlled in accordance with the phase shift amount of the projection grating. A contour image capturing system according to the present invention includes the CCD camera for real-time shape measurement, and means for projecting a grating onto a sample object while shifting the phase,
The CCD camera for real-time shape measurement is
It is characterized in that the on / off of each mirror of the DMD is controlled according to the phase shift amount of the projection grating during frame shooting. By using a CCD camera combined with a DMD, a contour image representing a shape can be obtained for each photographing frame in a shape measurement method using a grid projected while shifting the phase.

【0012】本発明による等変位線画像撮影方法は、前
記実時間形状計測用CCDカメラを使用し、格子を試料
物体に位相シフトしながら投影し、予め求めておいた物
体の変形前の位相分布を元に、前記CCDで1フレーム
撮影する間に前記DMDの各ミラーのオン/オフする画
素を投影格子の位相シフト量に応じて制御しながら撮影
することを特徴とする。本発明による等変位線画像撮影
システムは、前記実時間形状計測用CCDカメラと、格
子を試料物体に位相シフトしながら投影する手段とを具
え、前記実時間形状計測用CCDカメラを、予め求めて
おいた物体の変形前の位相分布を元に、前記CCDで1
フレーム撮影する間に前記DMDの各ミラーのオン/オ
フする画素を投影格子の位相シフト量に応じて制御する
ように構成したことを特徴とする。DMDと組み合わさ
れたCCDカメラを用いることで、位相をシフトしなが
ら投影された格子を用いる形状計測手法において、変形
量を表す等変位線画像を撮影フレームごとに得ることが
できる。
[0012] In the iso-displacement line image capturing method according to the present invention, the real-time shape measuring CCD camera is used to project the grating onto the sample object while shifting the phase, and the phase distribution of the object before deformation is obtained in advance. Based on the above, while one frame is shot by the CCD, shooting is performed while controlling the ON / OFF pixels of each mirror of the DMD according to the phase shift amount of the projection grating. The iso-displacement line image capturing system according to the present invention includes the real-time shape measuring CCD camera and a unit that projects a lattice onto the sample object while shifting the phase, and obtains the real-time shape measuring CCD camera in advance. Based on the phase distribution before deformation of the placed object,
It is characterized in that the pixel to be turned on / off of each mirror of the DMD is controlled according to the phase shift amount of the projection grating during frame shooting. By using the CCD camera combined with the DMD, it is possible to obtain an equidistant line image representing the amount of deformation for each photographing frame in a shape measurement method using a grid projected while shifting the phase.

【0013】[0013]

【発明の実施の形態】図2は、本発明による実時間形状
計測用CCDカメラの一実施形態の構成を示す図であ
る。実時間形状計測用CCDカメラ1は、DMD11
と、CCD12と、第1レンズ13と、第2レンズ14
とを具える。撮影対象物体の像を第1レンズ13によっ
てDMD11の素子表面に結像させる。このとき、DM
D11と第1レンズ13のレンズ面とを互いに平行にな
るように配置する。DMD11の表面の各DMD画素に
は、結像の位置関係となる対象物体表面の1点から出た
光が到達することになる。次に、DMD11の表面とC
CD12の表面が結像の位置関係となるように第2レン
ズ14を配置する。このとき、DMD11と、CCD1
2と、第2レンズ14とを、互いに平行になるように配
置し、さらに、DMD反射角のあおりを付けた光学系と
なるようにする。このように配置することによって、オ
ンの信号を受けているDMD画素に到達した光は、CC
D12方向に反射され、第2レンズ14によってCCD
12の対応する画素に結像することになる。すなわち、
撮影対象物体の像は、いったんDMD11の表面に結像
し、オンになっているDMD画素で反射されて再度CC
D12の表面に結像することになる。
FIG. 2 is a diagram showing the configuration of an embodiment of a CCD camera for real-time shape measurement according to the present invention. The real-time shape measurement CCD camera 1 includes a DMD 11
, CCD 12, first lens 13, second lens 14
And An image of the object to be imaged is formed on the element surface of the DMD 11 by the first lens 13. At this time, DM
D11 and the lens surface of the first lens 13 are arranged so as to be parallel to each other. Light emitted from one point on the surface of the target object, which has a positional relationship of image formation, reaches each DMD pixel on the surface of the DMD 11. Next, the surface of DMD11 and C
The second lens 14 is arranged so that the surface of the CD 12 has a positional relationship of image formation. At this time, DMD11 and CCD1
The second lens 14 and the second lens 14 are arranged so as to be parallel to each other, and furthermore, an optical system having a DMD reflection angle is provided. By arranging in this way, the light that has reached the DMD pixel receiving the ON signal has CC
The light is reflected in the direction D12 and is
An image will be formed on 12 corresponding pixels. That is,
The image of the object to be photographed once forms an image on the surface of the DMD 11, is reflected by the DMD pixels that are turned on, and is again
An image is formed on the surface of D12.

【0014】図3は、DMDのオン/オフパターンと撮
影される画像との関係を示す図である。図3aは、撮影
対象のパターンの一例を示す。わかりやすくするため
に、画素数を減らして図式的に示す。まず、DMD画素
がすべてオンの場合、撮影対象の像はそのままCCDで
撮影される。DMD画素がすべてオフの場合、CCDに
は何も撮影されない。一部のDMD画素がオンで、他の
DMD画素がオフの場合、オフの画素は撮影されず、オ
ンの画素のみが撮影される。
FIG. 3 is a diagram showing the relationship between the on / off pattern of the DMD and the image to be shot. FIG. 3a shows an example of a pattern to be captured. For clarity, the number of pixels is reduced and shown schematically. First, when all the DMD pixels are on, the image of the object to be photographed is photographed by the CCD as it is. When all the DMD pixels are off, nothing is photographed on the CCD. When some DMD pixels are on and other DMD pixels are off, off pixels are not photographed, and only on pixels are photographed.

【0015】図4は、本発明による等高線画像撮影方法
を実行する実時間等高線表示システムの構成を示す図で
ある。本システムは、実時間形状計測用CCDカメラ1
と、格子投影プロジェクタ2と、コントローラ3とを具
える。実時間形状計測用CCDカメラ1は、図2に示す
ものと同様のものである。格子投影プロジェクタ2は、
等間隔の格子パターンを、レンズ21を介して物体に投
影する機能を有する。投影する格子の位相を、位相シフ
ト信号に応じて変化させる。位相を変化させる方法のひ
とつとして、投影格子のフィルムを移動する方法があ
る。実時間形状計測用CCDカメラ1の第1レンズ13
及び第2レンズ14のレンズ面と投影格子プロジェクタ
2のレンズ21のレンズ面とを、互いに平行でかつz方
向の位置が同一になるように配置する。コントローラ3
の第1出力部を実時間形状計測用CCDカメラ1に接続
し、コントローラ3の第2出力部を格子投影プロジェク
タ2に接続する。コントローラ3は、第1出力部からオ
ン/オフパターン信号を実時間形状計測用CCDカメラ
1のDMD11に供給し、第2出力部から位相シフト信
号を格子投影プロジェクタ2に供給する。
FIG. 4 is a diagram showing a configuration of a real-time contour display system for executing the contour image capturing method according to the present invention. This system is a CCD camera 1 for real-time shape measurement.
, A grid projection projector 2 and a controller 3. The real-time shape measurement CCD camera 1 is similar to the one shown in FIG. The grid projection projector 2
It has a function of projecting an equally-spaced grid pattern onto an object via the lens 21. The phase of the grating to be projected is changed according to the phase shift signal. One way to change the phase is to move the film of the projection grating. First lens 13 of real-time shape measurement CCD camera 1
The lens surface of the second lens 14 and the lens surface of the lens 21 of the projection grating projector 2 are arranged so as to be parallel to each other and have the same position in the z direction. Controller 3
Is connected to the CCD camera 1 for real-time shape measurement, and the second output of the controller 3 is connected to the grid projection projector 2. The controller 3 supplies an on / off pattern signal from the first output unit to the DMD 11 of the real-time shape measurement CCD camera 1, and supplies a phase shift signal to the grid projection projector 2 from the second output unit.

【0016】図5は、このようなDMD画素のオン/オ
フパターンの時間変化を示す図である。この図におい
て、CCD12のフレーム撮影時間は1/30秒とし、
1周期の位相シフト回数を6回とした場合の時刻と、オ
ン/オフパターン信号と、位相シフトとの関係を示す。
なお、フレーム撮影時間とは、CCD12が電荷を蓄え
る時間のことであり、この時間内にCCD12の各画素
に到達した光の強度の時間積分値がその画素の輝度とし
て蓄えられることになる。オン/オフパターン信号と位
相シフト信号とは、コントローラによって同期して変化
し、図5に示すように、投影格子の位相シフト量が増え
るごとにDMD画素のオンの位置を右方向に1列ずつ移
動する。このようにすると、CCD12のフレーム撮影
時間(1/30秒)内に、1周期分の位相シフトが順次
行われ、位相シフト量に応じて抽出された画素の光だけ
がCCD12の各画素上に到達し、そこでフレーム撮影
時間の時間積分が行われることによって合成されたもの
がCCD12で撮影されることになる。すなわち、1周
期分の位相シフト走査モアレ法が1フレーム時間内に行
われることになる。したがって、CCD12にはフレー
ム撮影時間ごとに等高線が撮影されることになる。1フ
レームごとに等高線を撮影するため、従来の複数枚の画
像を用いる方法と比べて、物体の動きによる誤差が大き
く軽減される。
FIG. 5 is a diagram showing a time change of the ON / OFF pattern of such a DMD pixel. In this figure, the frame photographing time of the CCD 12 is 1/30 second,
The relationship between the time when the number of phase shifts in one cycle is six, the on / off pattern signal, and the phase shift is shown.
Note that the frame photographing time is a time during which the CCD 12 stores electric charges, and a time integrated value of the intensity of light reaching each pixel of the CCD 12 during this time is stored as the luminance of the pixel. The on / off pattern signal and the phase shift signal are changed by the controller in synchronization with each other. As shown in FIG. Moving. In this way, the phase shift of one cycle is sequentially performed within the frame photographing time of the CCD 12 (1/30 second), and only the light of the pixel extracted according to the amount of phase shift is applied to each pixel of the CCD 12. The frame arrives there, and the image synthesized by the time integration of the frame shooting time is shot by the CCD 12. That is, the phase shift scanning moire method for one cycle is performed within one frame time. Therefore, contour lines are photographed on the CCD 12 at each frame photographing time. Since the contour lines are photographed for each frame, errors due to the movement of the object are greatly reduced as compared with the conventional method using a plurality of images.

【0017】図6は、本発明による等変位線画像撮影方
法を実行する実時間等変位線表示システムの構成を示す
図である。本システムは、実時間形状計測用CCDカメ
ラ1と、格子投影プロジェクタ2と、コントローラ3’
と、位相算出回路4と、位相メモリ5とスイッチ6とを
具える。実時間形状計測用CCDカメラ1は、図2及び
図4に示すものと同様のものであり、格子投影プロジェ
クタ2は、図4に示すものと同様のものである。格子投
影プロジェクタ2及び実時間形状計測用CCDカメラの
配置と、これらとコントローラ3’との接続は、図4に
示す実時間等高線表示システムと同様である。実時間形
状計測用CCDカメラ1の出力部を、スイッチ6を経て
位相算出回路4の第1入力部に接続する。また、位相算
出回路4の第2入力部を、コントローラ3’の第2出力
部に接続し、位相シフト信号を入力する。位相算出回路
4は、供給された格子画像及び位相シフト信号から特徴
量抽出法により位相分布を算出する。特徴量抽出法は、
特許第2903111号(形状変形計測方法)に記載さ
れているように、1周期分の位相シフトされた複数枚の
画像から、各画素について輝度が最高になるときの位相
シフト量を該画素の位相値として求める方法である。位
相算出回路4の出力部を位相メモリ5の入力部に接続
し、前記算出された位相分布を位相メモリ5に記憶す
る。位相メモリ5の出力部をコントローラ3’の入力部
に接続し、随時、前記位相分布を供給する。
FIG. 6 is a diagram showing a configuration of a real-time equi-displacement line display system for executing the iso-displacement line image capturing method according to the present invention. This system comprises a real-time shape measurement CCD camera 1, a grid projection projector 2, and a controller 3 '.
And a phase calculation circuit 4, a phase memory 5, and a switch 6. The real-time shape measuring CCD camera 1 is the same as that shown in FIGS. 2 and 4, and the grid projection projector 2 is the same as that shown in FIG. The arrangement of the grid projection projector 2 and the CCD camera for real-time shape measurement and the connection between them and the controller 3 'are the same as those of the real-time contour display system shown in FIG. The output of the real-time shape measurement CCD camera 1 is connected to the first input of the phase calculation circuit 4 via the switch 6. Further, the second input unit of the phase calculation circuit 4 is connected to the second output unit of the controller 3 ′, and receives the phase shift signal. The phase calculation circuit 4 calculates a phase distribution from the supplied lattice image and the phase shift signal by a feature extraction method. The feature extraction method is
As described in Japanese Patent No. 2903111 (method for measuring shape deformation), the phase shift amount when the luminance becomes maximum for each pixel is calculated from the phase shift amount of each pixel from a plurality of images phase-shifted for one cycle. It is a method of obtaining as a value. The output of the phase calculation circuit 4 is connected to the input of the phase memory 5, and the calculated phase distribution is stored in the phase memory 5. The output of the phase memory 5 is connected to the input of the controller 3 'and supplies said phase distribution as required.

【0018】まず、変形前の物体に投影された格子の位
相分布を求める手順を説明する。すべてのDMD画素に
ついて、コントローラ3’からのオン/オフパターン信
号をオンにする。このようにすると、図3に関して上述
したように、撮影対象の像がそのままCCD12で撮影
されるので、投影された格子の画像(格子画像)が撮影
される。さらにスイッチ6をオンにすることによって、
前記格子画像が位相算出回路4に入力される。コントロ
ーラ3’がCCD12のフレーム撮影時間で1回の位相
シフトが行われるような位相シフト信号を出力すると、
1フレームごとに1回ずつ位相シフトされた画像が撮影
される。位相算出回路4は、1周期分の位相シフト信号
と格子画像から特徴量抽出法によって投影格子の位相分
布を算出し、出力する。したがって、変形前の物体に対
してこの操作を行うことにより、変形前の物体の位相分
布が位相メモリ5に記憶されることになる。
First, the procedure for obtaining the phase distribution of the grating projected on the object before deformation will be described. The on / off pattern signal from the controller 3 'is turned on for all DMD pixels. In this way, as described above with reference to FIG. 3, the image of the photographing target is photographed as it is by the CCD 12, so that the projected lattice image (lattice image) is photographed. By further turning on switch 6,
The lattice image is input to the phase calculation circuit 4. When the controller 3 'outputs a phase shift signal such that one phase shift is performed during the frame photographing time of the CCD 12,
An image that is phase-shifted once per frame is captured. The phase calculation circuit 4 calculates and outputs the phase distribution of the projection grating from the phase shift signal for one cycle and the grating image by the feature extraction method. Therefore, by performing this operation on the object before deformation, the phase distribution of the object before deformation is stored in the phase memory 5.

【0019】図7は、このようにして得られた1周期の
位相シフト回数を6回とした場合の、物体の変形前の位
相分布の例を示す図である。図7aは位相分布を濃淡で
表現したものであり、図7bは各画素ごとの位相シフト
量を数値で表したものである。ここで、位相シフト量と
は、位相シフトが行われた回数である。そのため、図7
の場合は0〜5の値となる。以上のようにして、まず変
形前の物体に投影された格子の位相分布を求め、それを
位相メモリ5に格納する。その後、以下に説明する方法
を用いて等変位線の撮影を行う。
FIG. 7 is a diagram showing an example of a phase distribution before deformation of an object when the number of phase shifts in one cycle obtained in this way is six. FIG. 7A illustrates the phase distribution by shading, and FIG. 7B illustrates the phase shift amount of each pixel by a numerical value. Here, the phase shift amount is the number of times the phase shift has been performed. Therefore, FIG.
In the case of, the value is 0 to 5. As described above, first, the phase distribution of the grating projected on the object before deformation is obtained and stored in the phase memory 5. Thereafter, imaging of equidistant lines is performed using the method described below.

【0020】図8は、図6に示す実時間等変位線表示シ
ステムにおけるオン/オフパターンの時間変化を示す図
である。図8は、図5の場合と同様に、CCDのフレー
ム撮影時間を1/30秒とし、1周期の位相シフト回数
を6回とした場合の、オン/オフパターン信号と位相シ
フト信号との関係を時系列的に示したものである。オン
/オフパターン信号と位相シフト信号とを、コントロー
ラ3’によって同期して変化させ、図8に示すように投
影格子の位相シフト量に応じて、図7bに示す物体の変
形前の位相分布の各画素の位相シフト量と一致したDM
D画素をオンにする。例えば、位相シフト量が2の場合
は、図7bにおいて2の値を持つDMD画素がオンにな
る。このようにすると、CCD12のフレーム撮影時間
(1/30秒)内に、1周期分の位相シフトが順次行わ
れ、位相シフト量に応じて抽出された画素の光だけがC
CD12の各画素上に到達し、そこでフレーム撮影時間
の時間積分が行われることによって合成されたものがC
CD12で撮影される。すなわち、CCD12にはフレ
ーム撮影時間ごとに等変位線が撮影される。1フレーム
ごとに等変位線を撮影するため、従来の複数枚の画像を
用いる方法に比べて、物体の動きによる誤差が大きく軽
減される。
FIG. 8 is a diagram showing a time change of an on / off pattern in the real-time equal displacement line display system shown in FIG. FIG. 8 shows the relationship between the on / off pattern signal and the phase shift signal when the frame shooting time of the CCD is 1/30 second and the number of phase shifts in one cycle is 6 as in the case of FIG. Are shown in chronological order. The on / off pattern signal and the phase shift signal are synchronously changed by the controller 3 ′, and the phase distribution of the object before deformation shown in FIG. 7b is changed according to the phase shift amount of the projection grating as shown in FIG. DM matching the phase shift amount of each pixel
Turn on the D pixel. For example, when the phase shift amount is 2, the DMD pixel having the value of 2 in FIG. 7B is turned on. In this way, the phase shift for one cycle is sequentially performed within the frame photographing time (1/30 second) of the CCD 12, and only the light of the pixel extracted according to the amount of phase shift is C
The image reaches each pixel of the CD 12 and is synthesized by performing the time integration of the frame shooting time there.
Photographed on CD12. That is, the CCD 12 captures an equal displacement line every frame capturing time. Since the equidistant lines are photographed for each frame, errors due to the movement of the object are greatly reduced as compared with the conventional method using a plurality of images.

【0021】[0021]

【発明の効果】本発明によれば、位相シフト走査モアレ
法によって物体が動く場合でも小さい誤差で等高線画像
又は等変位線画像を実時間で得ることができる実時間形
状計測用CCDカメラが提供され、さらにこのような実
時間形状計測用CCDカメラ使用する実時間等高線表示
方法及び実時間等変位線表示方法と、実時間等高線表示
システム及び実時間等変位線表示システムとが提供され
る。
According to the present invention, there is provided a real-time shape measurement CCD camera capable of obtaining a contour image or a displacement image in real time with a small error even when an object moves by the phase shift scanning moire method. Further, a real-time contour display method and a real-time contour displacement display method using such a real-time shape measurement CCD camera, and a real-time contour display system and a real-time contour displacement display system are provided.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 DMDの基本的動作を説明する図である。FIG. 1 is a diagram illustrating a basic operation of a DMD.

【図2】 本発明による実時間形状計測用CCDカメラ
の一実施形態の構成を示す図である。
FIG. 2 is a diagram showing a configuration of an embodiment of a real-time shape measurement CCD camera according to the present invention.

【図3】 aは撮影対象パターンを表す図であり、bは
DMDのオン/オフパターンと撮影される画像との関係
を示す図である。
FIG. 3A is a diagram illustrating an imaging target pattern, and FIG. 3B is a diagram illustrating a relationship between an on / off pattern of a DMD and an image to be captured.

【図4】 実時間等高線表示システムの構成を示す図で
ある。
FIG. 4 is a diagram showing a configuration of a real-time contour display system.

【図5】 DMD画素のオン/オフパターンの時間変化
を示す図である。
FIG. 5 is a diagram showing a time change of an on / off pattern of a DMD pixel.

【図6】 実時間等変位線表示システムの構成を示す図
である。
FIG. 6 is a diagram showing a configuration of a real-time equi-displacement line display system.

【図7】 aは物体の変形前の位相分布の例を濃淡で表
現した図であり、bは各画素ごとの位相シフト量を数値
で表した図である。
7A is a diagram illustrating an example of a phase distribution before deformation of an object by shading, and FIG. 7B is a diagram illustrating a phase shift amount of each pixel by a numerical value.

【図8】 実時間等変位線表示システムにおけるオン/
オフパターンの時間変化を示す図である。
FIG. 8: ON / OFF of the real-time equi-displacement line display system
FIG. 7 is a diagram illustrating a change over time of an off pattern.

【符号の説明】[Explanation of symbols]

1 実時間形状計測用CCDカメラ 2 格子投影プロジェクタ 3、3’ コントローラ 4 位相算出回路 5 位相メモリ 6 スイッチ 11 DMD 12 CCD 13 第1レンズ 14 第2レンズ 21 レンズ Reference Signs List 1 CCD camera for real-time shape measurement 2 Lattice projection projector 3, 3 'controller 4 Phase calculation circuit 5 Phase memory 6 Switch 11 DMD 12 CCD 13 First lens 14 Second lens 21 Lens

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2F065 AA04 AA53 BB05 DD06 FF01 FF07 HH07 JJ03 JJ26 NN05 NN12 PP22 QQ23 QQ25 RR07 SS13 UU02 UU05 2H041 AA11 AB14 AC06 AZ00 AZ05 5C022 AA01 AB43 AC42 AC51 AC78 ──────────────────────────────────────────────────続 き Continued on front page F term (reference) 2F065 AA04 AA53 BB05 DD06 FF01 FF07 HH07 JJ03 JJ26 NN05 NN12 PP22 QQ23 QQ25 RR07 SS13 UU02 UU05 2H041 AA11 AB14 AC06 AZ00 AZ05 5C022 AA01 AC43 AC51 AC43

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 DMDと、前記DMDの表面に物体の像
を結像する第1レンズと、CCDと、前記DMDの表面
に反射された像をさらに前記CCDに結像する第2レン
ズとを具えることを特徴とする実時間形状計測用CCD
カメラ。
1. A DMD, a first lens that forms an image of an object on the surface of the DMD, a CCD, and a second lens that further forms an image reflected on the surface of the DMD on the CCD. CCD for real-time shape measurement characterized by having
camera.
【請求項2】 請求項1に記載の実時間形状計測用CC
Dカメラを使用し、格子を試料物体に位相シフトしなが
ら投影し、前記CCDで1フレーム撮影する間に前記D
MDの各ミラーのオン/オフを前記投影格子の位相シフ
ト量に応じて制御しながら撮影することを特長とする等
高線画像撮影方法。
2. The CC for real-time shape measurement according to claim 1.
A D camera is used to project the grating onto the sample object with a phase shift.
A contour image photographing method characterized by photographing while controlling on / off of each mirror of the MD according to the phase shift amount of the projection grating.
【請求項3】 請求項1に記載の実時間形状計測用CC
Dカメラを使用し、格子を試料物体に位相シフトしなが
ら投影し、予め求めておいた物体の変形前の位相分布を
元に、前記CCDで1フレーム撮影する間に前記DMD
の各ミラーのオン/オフする画素を投影格子の位相シフ
ト量に応じて制御しながら撮影することを特徴とする等
変位線画像撮影方法。
3. The CC for real-time shape measurement according to claim 1.
A D camera is used to project the grating onto the sample object while shifting the phase. Based on the phase distribution before deformation of the object determined in advance, the DMD is captured while one frame is shot by the CCD.
Wherein the image is taken while controlling the pixels to be turned on / off of each mirror according to the phase shift amount of the projection grating.
【請求項4】 請求項1に記載の実時間形状計測用CC
Dカメラと、格子を試料物体に位相シフトしながら投影
する手段とを具え、前記実時間形状計測用CCDカメラ
を、前記CCDで1フレーム撮影する間に前記DMDの
各ミラーのオン/オフを前記投影格子の位相シフト量に
応じて制御するように構成したことを特長とする等高線
画像撮影システム。
4. The real-time shape measuring CC according to claim 1.
D camera and means for projecting the grating onto the sample object while shifting the phase, and turning on / off each mirror of the DMD while the CCD camera for real-time shape measurement captures one frame with the CCD. A contour image photographing system characterized in that control is performed according to a phase shift amount of a projection grating.
【請求項5】 請求項1に記載の実時間形状計測用CC
Dカメラと、格子を試料物体に位相シフトしながら投影
する手段とを具え、前記実時間形状計測用CCDカメラ
を、予め求めておいた物体の変形前の位相分布を元に、
前記CCDで1フレーム撮影する間に前記DMDの各ミ
ラーのオン/オフする画素を投影格子の位相シフト量に
応じて制御するように構成したことを特徴とする等変位
線画像撮影システム。
5. The CC for real-time shape measurement according to claim 1.
D camera, and means for projecting the grating onto the sample object while shifting the phase, the CCD camera for real-time shape measurement, based on the phase distribution before deformation of the object determined in advance,
An equidistant-line image capturing system, wherein a pixel to be turned on / off by each mirror of the DMD is controlled in accordance with a phase shift amount of a projection grating while one frame is captured by the CCD.
JP2001026564A 2001-02-02 2001-02-02 Method and apparatus for real-time shape measurement by CCD camera using DMD Expired - Lifetime JP3507865B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001026564A JP3507865B2 (en) 2001-02-02 2001-02-02 Method and apparatus for real-time shape measurement by CCD camera using DMD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001026564A JP3507865B2 (en) 2001-02-02 2001-02-02 Method and apparatus for real-time shape measurement by CCD camera using DMD

Publications (2)

Publication Number Publication Date
JP2002228425A true JP2002228425A (en) 2002-08-14
JP3507865B2 JP3507865B2 (en) 2004-03-15

Family

ID=18891361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001026564A Expired - Lifetime JP3507865B2 (en) 2001-02-02 2001-02-02 Method and apparatus for real-time shape measurement by CCD camera using DMD

Country Status (1)

Country Link
JP (1) JP3507865B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194792A (en) * 2005-01-14 2006-07-27 Hiroshima Univ Method for predicting strength degradation of corrosion structure
KR100856466B1 (en) 2008-03-07 2008-09-04 에이티아이 주식회사 Scanning moire measurement device and method
KR100966311B1 (en) 2008-02-20 2010-06-28 넥스타테크놀로지 주식회사 Moire Device Using Digital Micromirror Device
KR100982051B1 (en) 2008-07-24 2010-09-13 넥스타테크놀로지 주식회사 moire measurement device using digital micromirror device
KR100982050B1 (en) 2008-07-24 2010-09-13 넥스타테크놀로지 주식회사 moire measurement device using digital micromirror device
JP2012507173A (en) * 2008-10-28 2012-03-22 モレキュラー・インプリンツ・インコーポレーテッド Optical system for stage control
CN102589471A (en) * 2012-03-06 2012-07-18 上海理工大学 Parallel confocal detection system and method
CN103900493A (en) * 2014-04-18 2014-07-02 中国科学院光电技术研究所 Micro-nano structure and morphology measurement device and method based on digital scanning and white light interference
CN103954232A (en) * 2014-04-21 2014-07-30 华侨大学 Flexible surface appearance quick extraction method
CN107071246A (en) * 2017-03-28 2017-08-18 哈尔滨理工大学 45 degree of CCD transposition imaging devices and method
WO2018220766A1 (en) * 2017-05-31 2018-12-06 4Dセンサー株式会社 Method and device for converting deformed grating into rectangular grating or square grating using projection conversion to perform phase analysis
CN108965679A (en) * 2018-09-17 2018-12-07 Oppo(重庆)智能科技有限公司 Photographic device, electronic equipment and its control method
CN110411374A (en) * 2019-08-26 2019-11-05 湖北工业大学 A kind of dynamic 3 D surface shape measurement method and system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7025940B2 (en) 2018-01-26 2022-02-25 京セラ株式会社 Electromagnetic wave detection device and information acquisition system
JP6974251B2 (en) 2018-05-15 2021-12-01 京セラ株式会社 Electromagnetic wave detection device and information acquisition system
JP6974252B2 (en) 2018-05-15 2021-12-01 京セラ株式会社 Electromagnetic wave detection device and information acquisition system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194792A (en) * 2005-01-14 2006-07-27 Hiroshima Univ Method for predicting strength degradation of corrosion structure
JP4595077B2 (en) * 2005-01-14 2010-12-08 国立大学法人広島大学 Prediction method for strength deterioration of corroded structures
KR100966311B1 (en) 2008-02-20 2010-06-28 넥스타테크놀로지 주식회사 Moire Device Using Digital Micromirror Device
KR100856466B1 (en) 2008-03-07 2008-09-04 에이티아이 주식회사 Scanning moire measurement device and method
KR100982051B1 (en) 2008-07-24 2010-09-13 넥스타테크놀로지 주식회사 moire measurement device using digital micromirror device
KR100982050B1 (en) 2008-07-24 2010-09-13 넥스타테크놀로지 주식회사 moire measurement device using digital micromirror device
JP2012507173A (en) * 2008-10-28 2012-03-22 モレキュラー・インプリンツ・インコーポレーテッド Optical system for stage control
CN102589471A (en) * 2012-03-06 2012-07-18 上海理工大学 Parallel confocal detection system and method
CN103900493A (en) * 2014-04-18 2014-07-02 中国科学院光电技术研究所 Micro-nano structure and morphology measurement device and method based on digital scanning and white light interference
CN103954232A (en) * 2014-04-21 2014-07-30 华侨大学 Flexible surface appearance quick extraction method
CN107071246A (en) * 2017-03-28 2017-08-18 哈尔滨理工大学 45 degree of CCD transposition imaging devices and method
CN107071246B (en) * 2017-03-28 2023-02-03 哈尔滨理工大学 45-degree CCD transposition imaging device and method
WO2018220766A1 (en) * 2017-05-31 2018-12-06 4Dセンサー株式会社 Method and device for converting deformed grating into rectangular grating or square grating using projection conversion to perform phase analysis
CN108965679A (en) * 2018-09-17 2018-12-07 Oppo(重庆)智能科技有限公司 Photographic device, electronic equipment and its control method
CN108965679B (en) * 2018-09-17 2020-12-25 Oppo(重庆)智能科技有限公司 Image pickup apparatus, electronic apparatus, and control method thereof
CN110411374A (en) * 2019-08-26 2019-11-05 湖北工业大学 A kind of dynamic 3 D surface shape measurement method and system

Also Published As

Publication number Publication date
JP3507865B2 (en) 2004-03-15

Similar Documents

Publication Publication Date Title
JP3507865B2 (en) Method and apparatus for real-time shape measurement by CCD camera using DMD
US7551272B2 (en) Method and an apparatus for simultaneous 2D and 3D optical inspection and acquisition of optical inspection data of an object
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP3922784B2 (en) 3D shape measuring device
JP2002257528A (en) Three-dimensional shape measuring device by phase shift method
JPWO2006064751A1 (en) Compound eye imaging device
US7525669B1 (en) High-speed, scanning phase-shifting profilometry using 2D CMOS sensor
TWI641802B (en) Three-dimensional measuring device
JP2017015872A (en) Real-time measuring and projection apparatus and three-dimensional projection and measuring apparatus
TW201643371A (en) Three-dimensional measurement device
JP3536097B2 (en) Method and apparatus for measuring grating projection shape using frequency modulation grating
JP5956296B2 (en) Shape measuring apparatus and shape measuring method
JP2010151697A (en) Apparatus and method for three-dimensional shape measurement
JP3265476B2 (en) Real-time shape deformation measurement method
JPH1096606A (en) Shape measuring method and device
JP2022526500A (en) Multi-camera imaging system using laser beam
JP2015102532A (en) Three-dimensional shape measurement device
KR100893883B1 (en) Apparatus and Method for Three Dimensional Measurement Using Moire and Dynamic Stereo Vision
KR101465996B1 (en) Method for measurement of high speed 3d shape using selective long period
JP2006170744A (en) Three-dimensional distance measuring instrument
JPH0518714A (en) Speckle image displacement measuring apparatus
KR20080088946A (en) Apparatus for inspection of three-dimensional shape and method for inspection by the same
KR101816781B1 (en) 3D scanner using photogrammetry and photogrammetry photographing for high-quality input data of 3D modeling
JPWO2019058750A1 (en) Imaging system, imaging method and image sensor
JPH1163954A (en) Measuring device of three-dimensional shape

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3507865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term