JP6923915B2 - A computer-readable recording medium that records measurement methods, measuring devices, and measurement programs that can simultaneously acquire the three-dimensional shape of a color object and color information. - Google Patents
A computer-readable recording medium that records measurement methods, measuring devices, and measurement programs that can simultaneously acquire the three-dimensional shape of a color object and color information. Download PDFInfo
- Publication number
- JP6923915B2 JP6923915B2 JP2017151933A JP2017151933A JP6923915B2 JP 6923915 B2 JP6923915 B2 JP 6923915B2 JP 2017151933 A JP2017151933 A JP 2017151933A JP 2017151933 A JP2017151933 A JP 2017151933A JP 6923915 B2 JP6923915 B2 JP 6923915B2
- Authority
- JP
- Japan
- Prior art keywords
- phase
- grid
- pixels
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、大型構造物や工業製品、シート状構造物、人体や動植物、自然の造形物等の三次元の表面形状を有する測定対象物の表面の三次元形状計測を非接触かつ高速・高精度で行うことが可能な三次元形状計測装置に関する。また、非接触の振動面位置計測や変位分布計測に用いることもできる。 The present invention performs non-contact, high-speed, high-speed three-dimensional shape measurement of the surface of a measurement object having a three-dimensional surface shape such as a large structure, an industrial product, a sheet-like structure, a human body, animals and plants, and a natural shaped object. It relates to a three-dimensional shape measuring device that can be performed with accuracy. It can also be used for non-contact vibration surface position measurement and displacement distribution measurement.
計測対象物に格子パターンを投影し、計測対象物に投影された格子パターンを撮像して得られた格子パターン像の画素毎の位相を求めることにより三次元形状計測を行う格子投影法が公知である。 A known grid projection method is used to measure a three-dimensional shape by projecting a grid pattern onto a measurement target and obtaining the phase of each pixel of the grid pattern image obtained by imaging the grid pattern projected on the measurement target. be.
図１に一次元格子投影法による形状計測装置の光学系の例を示す。 FIG. 1 shows an example of an optical system of a shape measuring device by a one-dimensional lattice projection method.
基準面に対して、カメラレンズの中心とプロジェクタの光源の高さが同じであり、カメラ撮像面および格子の面は基準面に平行であるモアレトポグラフィの光学系である。この図の場合、基準面の位置において、投影された格子の１ピッチと基準面上で撮像される画素ピッチが一致しており、図１のＷの位置には白い線が、Ｂの位置には黒い線が等高線として撮影できる。カメラの画素ピッチが細かくなっても投影された格子の画像の１ピッチの画素数はどの高さでも一定である。 The center of the camera lens and the height of the light source of the projector are the same with respect to the reference plane, and the camera imaging plane and the grid plane are moiretopography optical systems parallel to the reference plane. In the case of this figure, at the position of the reference plane, one pitch of the projected grid and the pixel pitch imaged on the reference plane match, and a white line is at the position of W in FIG. 1 and at the position of B. Black lines can be photographed as contour lines. Even if the pixel pitch of the camera becomes finer, the number of pixels in one pitch of the projected grid image is constant at any height.
格子投影法では格子の位相を解析することにより高精度でその変形を解析でき、面外変形や三次元形状を高精度に計測することができる。従来の位相解析法としては、位相シフト法やフーリエ変換法が用いられている。 In the lattice projection method, the deformation can be analyzed with high accuracy by analyzing the phase of the lattice, and the out-of-plane deformation and the three-dimensional shape can be measured with high accuracy. As a conventional phase analysis method, a phase shift method or a Fourier transform method is used.
格子投影法やモアレトポグラフィ法では、格子の位相を解析することによって高精度で対象の形状や変形を解析することができ、面内変形や三次元形状の高精度の計測が可能である（非特許文献１，２）。従来の位相解析法としては、位相シフト法やフーリエ変換法が用いられている。これらの中で、サンプリングモアレ法（非特許文献３）やフーリエ変換法（非特許文献４，５）は１枚の画像で位相を解析できるため、運動物体などの解析に有用である。
全空間テーブル化手法は、各画素に対して位相と高さ（さらにはｘ，ｙ，ｚ座標）との関係を予め求めてテーブルとし、位相が求められれば、そのテーブルを見るだけで、高さ情報が得られる（非特許文献６）。
In the lattice projection method and the moire topography method, it is possible to analyze the shape and deformation of an object with high accuracy by analyzing the phase of the lattice, and it is possible to measure in-plane deformation and three-dimensional shape with high accuracy (non-latice).
In the all-spatial table-making method, the relationship between the phase and the height (further, x, y, z coordinates) is obtained in advance for each pixel to form a table, and if the phase is obtained, the height can be obtained simply by looking at the table. Information can be obtained (Non-Patent Document 6).
運動物体をリアルタイムに計測するには計算を高速に行う必要があり、できるだけ少ない画像データで位相計算をするほうが良い。しかしながら、サンプリングモアレ法は２周期のデータを用いて位相計算を行ない、またフーリエ変換法は全画素のデータを用いて位相の解析を行っており、少ない画像データにより動画像での計測をすることができなかった。 In order to measure a moving object in real time, it is necessary to perform the calculation at high speed, and it is better to perform the phase calculation with as little image data as possible. However, the sampling moiré method performs phase calculation using data of two cycles, and the Fourier transform method uses data of all pixels to analyze the phase, and measurement in moving images is performed with a small amount of image data. I couldn't.
この問題を解決するため、本出願人は特許文献１に開示されるように、格子１周期分の画像データをフーリエ変換などにより位相を解析する新しい格子投影法を出願している。これにより１枚の画像から位相分布を高速に解析することができ、動画像の解析も可能となる。
In order to solve this problem, the applicant has applied for a new grid projection method for analyzing the phase of image data for one grid cycle by Fourier transform or the like, as disclosed in
この特許文献１に開示される技術の特徴を以下に示す。
（１）位相解析による計測であるため精度が良い。
（２）１枚の画像で位相解析できるので、運動する物体の形状計測が可能である。
（３）フーリエ変換により周波数１のみを抽出しているので、正確な余弦波の輝度分布をもつ格子を投影しなくても良い。
（４）また、フーリエ変換により周波数１のみを抽出しているので、高周波部分に現れるノイズは自動的に削除されるためノイズに強い。
（５）処理が簡単で、高速に処理ができる。
（６）ゲージ長が整数Ｎ画素となり、サンプリングモアレ法よりも短い。一般的に、デジタル画像相関法よりもゲージ長が短い。
（７）サンプリングモアレ法では直線補間によりモアレ縞を生成しているが、本発明は余弦波と相関をとっていることになるため、精度がより高い。
The features of the technique disclosed in
(1) The accuracy is good because the measurement is performed by phase analysis.
(2) Since the phase can be analyzed with one image, the shape of a moving object can be measured.
(3) Since only the
(4) Further, since only the
(5) The processing is simple and can be processed at high speed.
(6) The gauge length is an integer N pixels, which is shorter than the sampling moire method. Generally, the gauge length is shorter than that of the digital image correlation method.
(7) In the sampling moire method, moire fringes are generated by linear interpolation, but the present invention has higher accuracy because it correlates with the cosine wave.
しかしながら、特許文献１に開示される技術はｘ方向にＭ画素（Ｍは２以上の整数）、ｙ方向に１画素の横長の画像データを用いて位相解析を行う必要がある。そのため、ｘ方向の空間分解能が十分ではなく、ｘ方向に段差のある部分など位相変化の大きいところでは広い範囲にわたって誤差が大きくなっていた。
However, the technique disclosed in
そこで、本出願人は、特許文献２に開示されるように、位相解析に特許文献１に開示される技術と同じ画素数を使っても、ｘ方向にＭｘ画素、ｙ方向にＮｙ画素（Ｍｘ、Ｎｙは２以上の整数）の２次元領域のデータを使うことにより、ｘ方向とｙ方向の空間分解能をほぼ同じ程度に小さくでき、段差のある部分でも、誤差の大きくなる部分の幅を狭くできる位相解析方法、および、前記位相解析方法を利用した装置についても出願している。
Therefore, as disclosed in
特許文献１、特許文献２に開示される技術により構成される計測装置は、モノクロカメラを用いており、対象物の表面のカラー情報を収集することができない。カラー情報を収集する場合は、形状計測を行なうカメラと別に、カラーデータを収集するカメラを用いる必要がある。そして、形状計測で得られた形状計測データと、カラーデータとを合成することにより、３次元形状計測結果に色付けを行なっていた。そのため、装置が高価となり、データの合成のためのソフトウェアの製作も困難なことも多く、また、計測誤差も大きい問題があった。
そこで、本発明の目的は、３次元物体の３次元形状データとカラーデータとを１台のカメラを用いて同時に収集することが可能な、計測方法、計測装置、計測プログラムを記録した、コンピュータ読み取り可能な記録媒体を提供することである。
The measuring device configured by the techniques disclosed in
Therefore, an object of the present invention is to read a computer that records a measurement method, a measurement device, and a measurement program capable of simultaneously collecting three-dimensional shape data and color data of a three-dimensional object using one camera. It is to provide a possible recording medium.
＜請求項１＞
モアレトポグラフィ光学系において、ベイヤー配列のＲＧＢを受光する２次元撮像素子を備えたカメラを用い、ＲＧＢ成分を含む光源光を用い、格子を用い、前記光源光により３次元物体に投影された前記格子の格子模様を撮像し、前記３次元物体の表面の形状データを取得する計測方法であって、
前記格子模様の画像からＲＧＢ成分ごとに奇数行と奇数列の各画素を抽出し、前記抽出した各画素の位相が前記各画素を順番に並べた場合に、等間隔で２πまで変わるように前記格子の格子線の方向を、前記カメラの前記２次元撮像素子の画素の配列方向に対して斜めに向けて投影する工程と、
前記物体に投影された格子模様を撮像する工程と、
前記ＲＧＢ成分ごとに前記抽出した各画素の位相を用いて位相解析を行い、位相解析により求められた位相を前記抽出した各画素のうちのいずれかの画素の位相とする工程と、
前記いずれかの画素の位相を求めることを前記撮像した前記格子模様のうちの少なくとも前記形状データを求める画素に対して行い位相分布を求める工程と、
前記求めた位相分布を用いて前記３次元物体の形状データを求める工程と、
を含む、
前記３次元物体の表面の形状データを取得する計測方法。
＜請求項２＞
ベイヤー配列のＲＧＢを受光する２次元撮像素子を備えたカメラを用い、ＲＧＢ成分を含む光源光を用い、前記光源光により３次元物体に描画された格子の格子模様を撮像し、前記３次元物体の表面の変位データを取得する計測方法であって、
前記格子模様の画像からＲＧＢ成分ごとに奇数行と奇数列の各画素を抽出し、前記抽出した各画素の位相が前記各画素を順番に並べた場合に、等間隔で２πまで変わるように前記格子模様の格子線の方向を、前記カメラの前記２次元撮像素子の画素の配列方向に対して斜めに向けて前記３次元物体に描画された格子模様を撮像する工程と、
前記抽出した各画素の位相を用いて位相解析を行い、位相解析により求められた位相を前記抽出した各画素のうちのいずれかの画素の位相とする工程と、
前記いずれかの画素の位相を求めることを前記撮像した前記格子模様のうちの少なくとも前記変位データを求める画素に対して行い位相分布を求める工程と、
前記位相分布を前記３次元物体の変形の前と後で求め、前記物体の変形前後の位相差に基づいて物体面の変位を求める工程と、
を含む計測方法。
＜請求項３＞
前記モアレトポグラフィ光学系において、前記カメラの撮像面が前記格子と平行ではない場合、前記抽出された画像に対して射影変換を行う工程を含む請求項１または２に記載の計測方法。
＜請求項４＞
前記請求項１乃至２のいずれか一つの計測方法を行う計測装置。
＜請求項５＞
請求項１乃至３のいずれか一つの計測方法を実行する計測プログラム。
＜請求項６＞
請求項５に記載の計測プログラムを記憶した、コンピュータ読み取り可能な記録媒体。
<
In Moire topography optical system, using a camera with a two-dimensional imaging device for receiving the RGB Bayer arrangement, using a light source light including RGB components, using a grid, the grid projected on the three-dimensional object by the light source light This is a measurement method for acquiring the shape data of the surface of the three-dimensional object by imaging the lattice pattern of the light source.
The extracts each pixel of odd rows and odd columns for each RGB component from the image of the lattice pattern, when the phase of each pixel and the extraction is ordered to each pixel, as described above vary at regular intervals until 2π A step of projecting the direction of the grid lines of the grid obliquely with respect to the arrangement direction of the pixels of the two-dimensional image sensor of the camera.
The process of imaging the checkerboard pattern projected on the object and
A step of performing a phase analysis using the phase of each of the extracted pixels for each of the RGB components and setting the phase obtained by the phase analysis as the phase of any of the extracted pixels.
A step of obtaining the phase of any of the pixels for at least the pixel for which the shape data is to be obtained in the imaged lattice pattern, and a step of obtaining the phase distribution.
The process of obtaining the shape data of the three-dimensional object using the obtained phase distribution, and
including,
A measurement method for acquiring shape data on the surface of the three-dimensional object.
<
Using a camera with a two-dimensional image pickup element for receiving RGB velvet ear sequences, using a light source light including RGB components, and imaging the grid patterns of the drawn grid in a three-dimensional object by the light source light, the three-dimensional A measurement method that acquires displacement data on the surface of an object.
The extracts each pixel of odd rows and odd columns for each RGB component from the image of the lattice pattern, when the phase of each pixel and the extraction is ordered to each pixel, as described above vary at regular intervals until 2π the direction of the grating lines of the grid pattern, a step of imaging the grid patterns drawn on the three-dimensional object obliquely with respect to the arrangement direction of the pixels of the two-dimensional image pickup device of the camera,
A step of performing a phase analysis using the phase of each of the extracted pixels and setting the phase obtained by the phase analysis as the phase of any one of the extracted pixels.
A step of obtaining the phase of any of the pixels for at least the pixel of the imaged lattice pattern for which the displacement data is to be obtained, and a step of obtaining the phase distribution.
A step of obtaining the phase distribution before and after the deformation of the three-dimensional object and obtaining the displacement of the object surface based on the phase difference before and after the deformation of the object.
Measurement method including.
<
The measurement method according to
<Claim 4>
A measuring device that performs the measuring method according to any one of
<Claim 5>
A measurement program that executes the measurement method according to any one of
<Claim 6>
A computer-readable recording medium that stores the measurement program according to
本発明により、３次元物体の３次元形状データとカラーデータとを１台のカメラを用いて同時に収集することが可能な、計測方法、計測装置、計測プログラムを記録した、コンピュータ読み取り可能な記録媒体を提供できる。 According to the present invention, a computer-readable recording medium that records a measurement method, a measurement device, and a measurement program that can simultaneously collect three-dimensional shape data and color data of a three-dimensional object using one camera. Can be provided.
本発明は、発明が解決しようとする課題を克服し、高速、高精度な方法を提供可能である。本発明は物体面の格子をカメラにより撮影して解析し、計測する方法である。本発明は、物体に投影された格子像あるいは、物体に描画された格子を撮像した画像の輝度データをもとに、高精度に位相値を求めることが可能となる位相解析方法に関する。そして、高精度に求めた位相をもとに、物体面の高さを計測して物体面形状を計測するだけでなく、物体面に設けた格子模様をカメラによって撮影することにより、物体面の面内方向への変位を計測することもできる。
さらに、本発明は、３次元物体の物体面の形状計測や変位計測だけではなく、同時に、物体面のカラー情報を収集することができる。本発明では、カラーカメラ１台を用いて、３次元形状データとそのカラーデータとを同時に取得する。
The present invention can overcome the problems to be solved by the invention and provide a high-speed and high-precision method. The present invention is a method of photographing and analyzing a grid of an object surface with a camera and measuring it. The present invention relates to a phase analysis method capable of obtaining a phase value with high accuracy based on a lattice image projected on an object or brightness data of an image obtained by imaging a lattice drawn on an object. Then, based on the phase obtained with high accuracy, not only the height of the object surface is measured to measure the shape of the object surface, but also the lattice pattern provided on the object surface is photographed by a camera to obtain the object surface. It is also possible to measure the displacement in the in-plane direction.
Further, the present invention can not only measure the shape and displacement of the object surface of a three-dimensional object, but also collect color information of the object surface at the same time. In the present invention, one color camera is used to simultaneously acquire three-dimensional shape data and its color data.
まず、本発明の測定原理を説明する。 First, the measurement principle of the present invention will be described.
本発明は、格子投影法で一次元格子を投影し、その格子画像の１ピッチが常に一定のＭ画素となることを利用して、そのＭ画素の輝度データより位相を解析し、位相から高さなどの情報を得る方法である。
＜光学系と座標＞
図２，図３Ａ，図３Ｂに形状計測装置の格子投影機構と計測対象物の説明用概略図を示す。
In the present invention, a one-dimensional lattice is projected by a lattice projection method, and the phase is analyzed from the luminance data of the M pixels by utilizing the fact that one pitch of the lattice image is always a constant M pixel, and the phase is high from the phase. This is a method of obtaining information such as the color.
<Optical system and coordinates>
FIGS. 2, 3A and 3B show a schematic diagram for explaining the grid projection mechanism of the shape measuring device and the object to be measured.
まず、図２でモアレトポグラフィの光学系についてさらに説明する。 First, the optical system of moire topography will be further described with reference to FIG.
Ｌは光源の位置、Ｖはカメラレンズの中心を表す。格子は光源Ｌの位置からｄの距離にあり、１周期の幅はｐである。 L represents the position of the light source and V represents the center of the camera lens. The grid is at a distance of d from the position of the light source L, and the width of one cycle is p.
この光学系では、基準面に対して、カメラレンズの中心Ｖとプロジェクタの光源Ｌの高さが同じであり、カメラ撮像面および格子面は基準面に平行である。 In this optical system, the heights of the center V of the camera lens and the light source L of the projector are the same with respect to the reference plane, and the camera imaging plane and the lattice plane are parallel to the reference plane.
光源Ｌから距離ｚ１離れた位置に物体面が、距離ｚ２離れた位置に基準面があり、光源Ｌからｄ離れた位置には格子面がある。格子面は基準面に平行であり、周期がｐである等間隔の一次元格子線が描かれている。光源には点光源を用いるが、格子線に平行な１ライン線光源を用いてもよい。 An object surface is located at a distance z1 away from the light source L, a reference surface is located at a distance z2 away, and a grid surface is located d away from the light source L. The lattice plane is parallel to the reference plane, and evenly spaced one-dimensional lattice lines having a period of p are drawn. A point light source is used as the light source, but a one-line light source parallel to the grid lines may be used.
光源Ｌを含み基準面に平行な面を光源面と呼ぶ。説明のために光源を原点としてｘ，ｙ，ｚ座標をとり、基準面に垂直な方向をｚ方向とする。図２では下方がｚ方向の正になっている。 A surface including the light source L and parallel to the reference surface is called a light source surface. For the sake of explanation, the x, y, and z coordinates are taken with the light source as the origin, and the direction perpendicular to the reference plane is the z direction. In FIG. 2, the lower part is positive in the z direction.
格子の面に描いた格子線に垂直な方向がｘ方向、格子線に平行な方向がｙ方向である。カメラレンズの中心は光源面内にあり、ｘ方向に距離ｖだけ光源Ｌから離れている。カメラ撮像面は基準面と格子面に平行であり、カメラ撮像面の画素座標（ｉ，ｊ）のｉ方向，ｊ方向は各々ｘ方向とｙ方向と一致している。 The direction perpendicular to the grid lines drawn on the surface of the grid is the x direction, and the direction parallel to the grid lines is the y direction. The center of the camera lens is in the light source plane and is separated from the light source L by a distance v in the x direction. The camera imaging surface is parallel to the reference surface and the lattice surface, and the i-direction and j-direction of the pixel coordinates (i, j) of the camera imaging surface coincide with the x-direction and the y-direction, respectively.
この光学系では、物体面や基準面がどの高さにあってもカメラ撮像面での格子１周期の像は同じ幅になる。したがって、デジタルカメラ撮像面の整数Ｎ画素に格子の１周期が映るように設定すると、物体面や基準面がどの高さでも格子の１周期の像が整数Ｎ画素に映ることになる。このことを図２で説明すると以下の通りになる。 In this optical system, the image of one cycle of the grid on the camera imaging surface has the same width regardless of the height of the object surface or the reference surface. Therefore, if one cycle of the grid is projected on the integer N pixels of the digital camera imaging surface, the image of one cycle of the grid is projected on the integer N pixels regardless of the height of the object surface or the reference surface. This will be explained with reference to FIG.
投影された格子１周期の影は、物体面ではｘ１に、基準面ではｘ２になる。光源面からの距離は、物体面ではｚ１、基準面ではｚ２、カメラ撮像面ではｚ３、格子面ではｄである。
格子の１周期ｐの影は、物体面ではｐをｚ１／ｄ倍したｘ１となり、基準面ではｐをｚ２／ｄ倍したｘ２となる。カメラ撮像面での大きさｘ４はｘ１をｚ３／ｚ１倍したものであり、ｘ５はｘ２をｚ３／ｚ２倍した大きさであるから、ｘ４とｘ５はともにｐのｚ３／ｄ倍になる。すなわち、カメラ撮像面に映る格子の１周期の大きさは光源面から格子までの距離と、カメラレンズの中心からカメラ撮像面までの距離の比によって定まり、物体面や基準面までの距離には影響されない。
The projected shadow of one cycle of the grid is x1 on the object plane and x2 on the reference plane. The distance from the light source surface is z1 on the object surface, z2 on the reference surface, z3 on the camera imaging surface, and d on the lattice surface.
The shadow of one period p of the lattice is x1 obtained by multiplying p by z1 / d on the object surface, and x2 obtained by multiplying p by z2 / d on the reference plane. Since the size x4 on the camera imaging surface is x1 multiplied by z3 / z1 and x5 is the size of x2 multiplied by z3 / z2, both x4 and x5 are z3 / d times p. That is, the size of one cycle of the lattice reflected on the camera imaging surface is determined by the ratio of the distance from the light source surface to the lattice and the distance from the center of the camera lens to the camera imaging surface. Not affected.
このことから、格子１周期の像を捉えるカメラのセンサー画素数は基準面からの計測対象物体の高さによらず一定となる。すなわち、格子１周期をＮ画素に映るように設定すると、連続するＮ画素には常に格子１周期分が映っていることになる。 From this, the number of sensor pixels of the camera that captures the image of one cycle of the grid is constant regardless of the height of the object to be measured from the reference plane. That is, if one cycle of the grid is set to be reflected in N pixels, one cycle of the grid is always reflected in the continuous N pixels.
一方で、図１においてｘ４とｘ５の位置がずれていることから判るように、物体面や基準面までの距離が変化すると格子がカメラ撮像面に映る位置は変化する。換言すると、基準面から物体面までの高さにより、カメラ撮像面の画素に映る格子の位相が変わることになる。 On the other hand, as can be seen from the fact that the positions of x4 and x5 are displaced in FIG. 1, the position where the grid is reflected on the camera imaging surface changes when the distance to the object surface or the reference surface changes. In other words, the phase of the grid reflected on the pixels of the camera imaging surface changes depending on the height from the reference surface to the object surface.
以上のことから、位相解析を行えばその高さを求めることができる。すなわち、Ｎ画素をフーリエ変換し、最大のパワースペクトルをもつ周波数１を抽出し、その周波数１の位相を求めれば、物体面等の高さを計測できることになる。また、実際の測定に際しては、光学系に応じて、前記周波数を予め設定しておき、その予め設定した周波数の位相を求めることにより、物体面等の高さを計測することもできる。
From the above, the height can be obtained by performing phase analysis. That is, if the N pixels are Fourier transformed, the
なお、上記したように、基準面に投影された格子の１周期がデジタルカメラの整数Ｎ画素となるようにレンズの拡大率を調整しておくことが好ましい。 As described above, it is preferable to adjust the magnification of the lens so that one cycle of the grid projected on the reference plane is an integer N pixels of the digital camera.
次に、図３を用いて基準面から物体面までの高さを求める方法を説明する。 Next, a method of obtaining the height from the reference plane to the object plane will be described with reference to FIG.
図３Ａは図３Ｂの上部を拡大したものである。 FIG. 3A is an enlarged view of the upper part of FIG. 3B.
まず、カメラレンズの中心Ｖをｘ軸上の座標（ｖ，０，０）の位置に置く。すなわちカメラレンズの中心Ｖは距離ｖだけ光源Ｌから離れている。基準面の点Ｒが映るカメラ撮像面の画素には、物体を置いた際に物体面の点Ｓが映る。図３Ｂでは、この画素および点Ｓ、点Ｒを通る線を、カメラ視線として示す。物体面における点Ｓをｚ軸に垂直に投影した点を点Ｂ、基準面における点Ｒをｚ軸に垂直に投影した点を点Ｉとする。また、光源の位置Ｌから点Ｒへの光が格子面を通過する点を点Ｑとし、光源の位置Ｌから点Ｒへの光が物体面の点Ｓからｚ軸に垂直に投影した線をその光が横切る点を点Ｐとする。さらに、光源の位置Ｌから点Ｓへの光が格子面を通過する点を点Ｇとする。ｚ軸と格子面の交点を点Ｃとする。点Ｅは格子の原点であり、点Ｃと点Ｅの距離をｅとする。そして、点Ｉと点Ｂの距離、すなわち基準面から物体面までの高さをｈとする。 First, the center V of the camera lens is placed at the position of the coordinates (v, 0, 0) on the x-axis. That is, the center V of the camera lens is separated from the light source L by a distance v. When an object is placed, the point S on the object surface is reflected on the pixels of the camera imaging surface on which the point R on the reference surface is reflected. In FIG. 3B, the line passing through the pixel and the points S and R is shown as a camera line of sight. Let the point B project the point S on the object surface perpendicular to the z-axis, and let the point R project the point R on the reference plane perpendicular to the z-axis point I. Further, the point where the light from the position L of the light source to the point R passes through the lattice plane is defined as the point Q, and the line where the light from the position L of the light source to the point R is projected perpendicularly to the z-axis from the point S on the object surface is defined as a point. Let the point P be the point where the light crosses. Further, a point where light from the position L of the light source to the point S passes through the lattice plane is defined as a point G. Let point C be the intersection of the z-axis and the lattice plane. The point E is the origin of the grid, and the distance between the points C and E is e. Then, let h be the distance between the points I and B, that is, the height from the reference plane to the object plane.
＜投影格子の位相＞
いま、ｚ＝ｄにある格子の透過率分布Ｉｇは余弦波状になっており、次の式で示される。
<Phase of projection grid>
Now, the transmittance distribution I g of the grating in the z = d has become a cosine wave, shown by the following equation.
ここで、ａｇは振幅、Φは格子の位相、ｂｇは背景である。光源が格子を照射して、格子の影が基準面または物体面に投影される。その格子の影がカメラ撮像面に映る際の輝度分布は、格子１周期に相当する連続したＮ画素に対して、基準面や物体面等の高さｚにおいて、次の式で表される。 Here, a g amplitude, [Phi lattice phase, b g is the background. The light source illuminates the grid and the shadow of the grid is projected onto the reference plane or object plane. The luminance distribution when the shadow of the grid is reflected on the camera imaging surface is expressed by the following equation at a height z such as a reference plane or an object plane with respect to continuous N pixels corresponding to one cycle of the grid.
ここで ｎ＝０，１，・・・Ｎ である。 Here, n = 0, 1, ... N.
数式２において、
In
と、置き直すと、数２式は数６式で表すことができる。
And, if you put it back, the
となる。 Will be.
物体面の場所Ｓ（ｘ，ｙ，ｚ）からｘ方向の格子の影の１周期は、カメラ撮像面の連続するＮ画素に映るように、カメラレンズにより調整されている。 One cycle of the shadow of the grid in the x direction from the location S (x, y, z) of the object surface is adjusted by the camera lens so as to be reflected in the continuous N pixels of the camera imaging surface.
そこで、このＮ個のデータに対して離散的フーリエ変換を行ない、その周波数１を抽出し、それより位相を求めると、滑らかな余弦波状の波の位相θを得ることができ、非常に精度の良い位相解析を行うことができる。
Therefore, when the discrete Fourier transform is performed on these N data, the
この位相θ（−π＜θ≦π）は、次の式を用いて計算できる。 This phase θ (−π <θ≤π) can be calculated using the following equation.
ｘ方向の全画素について上記の位相θを求めてｘ方向に位相接続すると、格子の位相Θを得ることができる。 When the above phase θ is obtained for all the pixels in the x direction and the phases are connected in the x direction, the phase Θ of the lattice can be obtained.
＜等高線を表すモアレ縞の位相＞
モアレトポグラフィにおいては、等高線を表すモアレ縞の位相ΘＭは、基準面に投影された格子の位相ΘＲと物体の上に投影された格子の位相Θの差ΘＭ＝Θ−ΘＲとして求められる。これよりｚが求められ、あるいは基準面からの高さｈ＝ｚR−zが求められる。
<Phase of moire fringes representing contour lines>
In moire topography, the phase Θ M of the moire fringes representing the contour lines is obtained as the difference Θ M = Θ − Θ R of the phase Θ R of the grid projected on the reference plane and the phase Θ R of the grid projected on the object. Be done. From this, z can be obtained, or the height h = z R − z from the reference plane can be obtained.
この計算式は次のように求められる。 This formula is calculated as follows.
基準面上の点Ｒに投影された格子の影の位相ΘＲは The phase Θ R of the shadow of the grid projected on the point R on the reference plane is
となる。 Will be.
ここで、△ＬＩＲと△ＬＣＱとの相似より Here, from the similarity between △ LIR and △ LCQ
となり、数式９を数式８に代入すると
And when
となる。 Will be.
同様に△ＬＢＳと△ＬＣＧとの相似を用いると、物体上の点Ｓに投影された格子の影の位相ΘＳは以下のようになる。 Similarly, using the similarity between ΔLBS and ΔLCG, the phase Θ S of the shadow of the grid projected on the point S on the object is as follows.
数式１０の点Ｒの位相と数式１１の点Ｓの位相の差として、次の式のようにモアレ縞の位相ΘＭが得られる。
As the difference between the phase of the point R in the
一方、二つの三角形△ＬＰＳおよび△ＬＱＧの相似より On the other hand, from the similarity of the two triangles ΔLPS and ΔLQG
また、△ＲＬＶおよび△ＲＰＳの相似より Also, from the similarity of ΔRLV and ΔRPS
これらから、 From these,
これより Than this
このように、基準面の格子と物体面の格子の位相差としてモアレ縞の位相を計測することにより、基準面から物体面までの高さｈが求められる。 In this way, the height h from the reference plane to the object plane can be obtained by measuring the phase of the moire fringes as the phase difference between the grid of the reference plane and the grid of the object plane.
ここで、物体面の高さを求めることにより物体面形状を計測する方法を説明する。 Here, a method of measuring the shape of the object surface by obtaining the height of the object surface will be described.
図４に計測装置全体の構成を示す。 FIG. 4 shows the configuration of the entire measuring device.
１はＬＥＤ等のランプであり、光源に相当する。２は格子、３は計測対象の物体、４は載置台、５はデジタルカメラ、６は撮像素子、７はレンズ、８はコンピュータ、９は出力装置である。計測結果を得るだけであればコンピュータ８などに結果を記憶すればよいので、出力装置９はなくてもよい。また、ランプ１と格子２としては、市販の液晶プロジェクタなどのプロジェクタを用いてもよい。この場合、液晶表示素子等で格子を表示して格子２を形成する。プロジェクタを用いると、格子の幅や方向を自在に変更することができる。
物体３をランプ１で照射すると、物体面に格子２の影が投影され、レンズ７を介してデジタルカメラ５の撮像素子６に影の像が映る。映った像はデジタルカメラ５からコンピュータ８に送られる。そして、コンピュータ８では、記憶されている本発明の方法を実現するプログラムにより前記像が解析されて計測値が得られる。得られた計測値はコンピュータ８に記憶されるとともに、必要であれば出力画像などに加工され、出力装置９に送られて出力される。出力装置は具体的には表示装置や印刷装置などである。
When the
コンピュータ８には、後述する全空間テーブル化法を実行するためのデータテーブル８ａをメモリに記憶することも可能である。また、本発明に係るプログラムをコンピュータ８で実行することができる。また、本発明に係るプログラムを記録した記録媒体８ｂをコンピュータ８に装着することで、本発明に係る計測方法を実行することができる。
The
基準面を載置台４の表面としても良く、載置台４の上に基準面を有する物体を載置しても良い。基準面と物体面があれば計測できるので、基準面の代わりに物体面を有した物体を置いても良い。また、ランプ１、格子２、物体３、載置台４、デジタルカメラ５を含んだ全体を横にした状態とし、横方向で物体面形状を計測することも可能であり、斜め方向で計測することも可能である。
The reference surface may be used as the surface of the mounting table 4, or an object having the reference surface may be placed on the mounting table 4. Since measurement can be performed if there is a reference plane and an object plane, an object having the object plane may be placed instead of the reference plane. It is also possible to measure the object surface shape in the horizontal direction with the
＜位相解析手順＞
基準面に一次元格子を投影する。これをデジタルカメラで撮影する。図５はこのようにして撮影した画像の一部の拡大説明図である。この例の場合、格子の１周期をカメラ撮像面のＮ画素（ここではＮ＝８）となるように倍率を調節している。カメラ撮像面の画素が黒い長方形で表現されている。この図の斜線で示される部分は格子の輝度の低い部分を示し、その他の部分は格子の輝度の高い部分を示している。格子線に直角な方向をｘ方向、それに垂直な方向をｙ方向とする。カメラ撮像面における画素の座標を（ｉ，ｊ）とする。そして、ｉ方向、ｊ方向をそれぞれｘ方向およびｙ方向に合わせて撮影する。
<Phase analysis procedure>
A one-dimensional grid is projected on the reference plane. Take this with a digital camera. FIG. 5 is an enlarged explanatory view of a part of the image taken in this way. In the case of this example, the magnification is adjusted so that one cycle of the grid becomes N pixels (here, N = 8) on the image pickup surface of the camera. The pixels on the camera imaging surface are represented by black rectangles. The shaded area in this figure indicates the low-brightness part of the grid, and the other parts show the high-brightness part of the grid. The direction perpendicular to the grid line is the x direction, and the direction perpendicular to it is the y direction. Let the coordinates of the pixels on the camera imaging surface be (i, j). Then, the i-direction and the j-direction are aligned with the x-direction and the y-direction, respectively, to take a picture.
この画像を次のように処理する。
（１）連続するＮ画素の画像データ（図６Ａ）を一次元フーリエ変換する。
（２）これにより−Ｎ／２〜Ｎ／２の周波数スペクトル（図６Ｂ）が得られる。この中で最大のパワースペクトルをもつ、Ｎ画素を一周期とする周波数１または周波数−１の成分を抽出する。図６Ｂでは、周波数１だけを取り出している。
（３）その抽出した周波数の位相計算を行えば位相が得られる。そして、そのＮ画素の格子の先頭の画素に対応して記憶する。（図６Ｃ）
（４）次に、Ｎ画素の格子の組み合わせをｘ方向に１画素だけずらして（１）〜（３）の位相計算と記憶を繰り返す。
（５）ｘ方向の移動がすべて終わったら（１）〜（４）の走査をすべてのｙ方向について行う。
This image is processed as follows.
(1) One-dimensional Fourier transform is performed on continuous N-pixel image data (FIG. 6A).
(2) As a result, a frequency spectrum of −N / 2 to N / 2 (FIG. 6B) can be obtained. Among them, the component of
(3) The phase can be obtained by performing the phase calculation of the extracted frequency. Then, it is stored corresponding to the first pixel of the N pixel grid. (Fig. 6C)
(4) Next, the combination of N pixel grids is shifted by one pixel in the x direction, and the phase calculation and storage of (1) to (3) are repeated.
(5) When all the movements in the x direction are completed, the scans (1) to (4) are performed in all the y directions.
なお、数式７を用いて位相を直接求める場合は（１）〜（３）の手順をまとめて行っていることになる。このようにして得られたほぼ１画面分の位相がこの格子の基準面の位相分布となる。
When the phase is directly obtained by using the
物体の格子の位相を解析する場合は、カメラはそのままにして、基準面の代わりに物体を置くなどして同様に（１）〜（５）の計算を繰り返す。このようにして得られた位相分布が物体面の位相分布となる。 When analyzing the phase of the lattice of an object, the calculation of (1) to (5) is repeated in the same manner by placing the object in place of the reference plane while leaving the camera as it is. The phase distribution thus obtained becomes the phase distribution of the object surface.
次に、得られた物体面の位相および基準面の位相をそれぞれ位相接続する。格子投影法の場合、格子の位相は基本的に単調関数となる。そのため、位相のジャンプが起こる毎に２πを増加あるいは減少させることにより容易に位相接続ができる。 Next, the phase of the obtained object surface and the phase of the reference surface are phase-connected. In the case of the grid projection method, the phase of the grid is basically a monotonic function. Therefore, phase connection can be easily performed by increasing or decreasing 2π each time a phase jump occurs.
位相接続の後に、各画素に物体の位相と基準面の格子の位相との位相差であるモアレ縞の位相ΘＭを求める。これより数式１７を用いて高さｈを求めることができる。ここでは、フーリエ変換してから周波数１等の位相を得ているため、正確な余弦波の輝度分布をもつ格子を投影することなく、ノイズに強い計測を行うことができる。
After the phase connection, the phase Θ M of the moire fringe, which is the phase difference between the phase of the object and the phase of the grid of the reference plane, is obtained for each pixel. From this, the height h can be obtained using the
上述の計測方法は、ｘ方向にＮ画素、y方向に１画素の横長の画像データを用いて位相解析をしていた。そのため、ｘ方向の空間分解能が悪く、ｘ方向に段差のある部分など位相変化の大きいところでは広い範囲にわたって誤差が大きくなる。 In the above-mentioned measurement method, phase analysis is performed using horizontally long image data of N pixels in the x direction and 1 pixel in the y direction. Therefore, the spatial resolution in the x direction is poor, and the error becomes large over a wide range in a place where the phase change is large, such as a portion having a step in the x direction.
そこで、本発明の他の計測方法は、位相解析に同じ画素数を使っても、ｘ方向にMx画素、ｙ方向にNy画素（Mｘ,Nｙは２以上の整数）の２次元領域のデータを使うことにより、ｘ方向とｙ方向の空間分解能をほぼ同じ程度に小さくでき、段差のある部分でも、誤差の大きくなる部分の幅を狭くできる。 Therefore, in another measurement method of the present invention, even if the same number of pixels is used for phase analysis, data in a two-dimensional region of Mx pixels in the x direction and Ny pixels in the y direction (Mx and Ny are integers of 2 or more) can be obtained. By using it, the spatial resolution in the x-direction and the y-direction can be reduced to almost the same extent, and the width of the portion where the error becomes large can be narrowed even in the portion having a step.
そこで、モアレトポグラフィの光学系においてz=0の基準面に格子を投影し、基準面上のｘ方向Mｘ画素、ｙ方向Nｙ画素からなる長方形（正方形を含む）内において、投影されている格子の位相が２πをMｘ×Nｙ等分されるように光学系を調節する。そうすると、すべての画素の位置において、ｘ方向Mｘ、ｙ方向Nｙ画素からなるMｘ×Nｙ画素の長方形領域において、２πをMｘ×Nｙ等分した位相に対応する輝度値が得られ、この輝度データより各画素における位相を求めることができる。 Therefore, in the moiretopography optical system, a grid is projected on the reference plane at z = 0, and the projected grid is placed in a rectangle (including a square) consisting of Mx pixels in the x direction and Ny pixels in the y direction on the reference plane. The optical system is adjusted so that the phase divides 2π into Mx × Ny equal parts. Then, at the positions of all the pixels, in the rectangular region of Mx × Ny pixels consisting of Mx in the x direction and Ny pixels in the y direction, the luminance value corresponding to the phase obtained by equally dividing 2π by Mx × Ny is obtained, and from this luminance data, the luminance value is obtained. The phase of each pixel can be obtained.
図１に示すモアレトポグラフィの光学系において、光源Ｌから出た光は、格子を通って格子の影を対象物の上に投影する。対象物の形状に応じて歪んだ格子の影をカメラが撮影する。 In the moire topography optical system shown in FIG. 1, the light emitted from the light source L passes through the grid and projects the shadow of the grid onto the object. The camera captures the shadow of the grid that is distorted according to the shape of the object.
上述の光学系では、基準面に投影した１次元の格子線が図７に示すように、x軸に垂直となるように設置し、図７に示すようにカメラで撮影された格子の１ピッチがｘ方向にM画素（図７の場合M=9）となるように光学系を配置しておく。図７はサンプリングモアレ法やＯＰＰＡ法で用いられている格子画像である。格子は、ｘ方向に垂直な格子線からなり、ｘ方向M画素（この図ではM=9）で１ピッチとなるように光学系を調整している。ｘ方向のＭ画素（この図では、Ｍ＝９）のデータを用いて位相解析を行う。符号９０で示される領域の９画素を用いて位相解析を行う。
In the above-mentioned optical system, the one-dimensional grid line projected on the reference plane is installed so as to be perpendicular to the x-axis as shown in FIG. 7, and one pitch of the grid photographed by the camera as shown in FIG. The optical system is arranged so that M pixels (M = 9 in the case of FIG. 7) in the x direction. FIG. 7 is a grid image used in the sampling moire method and the OPPA method. The grid consists of grid lines perpendicular to the x direction, and the optical system is adjusted so that there is one pitch in M pixels in the x direction (M = 9 in this figure). Phase analysis is performed using the data of M pixels in the x direction (M = 9 in this figure). Phase analysis is performed using 9 pixels in the region indicated by
一方、本発明の他の光学系では、基準面に投影した格子が図８に示すようにｘ軸に垂直とはならず斜めとなっている。それでも格子の１ピッチがｘ方向にM画素で１ピッチとなるように調整している。ただし、y方向に格子の１ピッチがNy画素（図８の場合、Mx=3、Ny=3）となるように調整している。 On the other hand, in the other optical system of the present invention, the grid projected on the reference plane is not perpendicular to the x-axis but is oblique as shown in FIG. Even so, one pitch of the grid is adjusted so that it becomes one pitch with M pixels in the x direction. However, the pitch of the grid is adjusted to be Ny pixels (Mx = 3, Ny = 3 in the case of FIG. 8) in the y direction.
結果的に、ｘ方向にMx画素、ｙ方向にNｙ画素、Mx×Ny＝M（M,Mx,Nyは２以上の整数）となるように光学系を配置しておくと、１周期の位相をN等分した位相の輝度データがMx×Nyの領域の輝度データとして得られる。 As a result, if the optical system is arranged so that Mx pixels in the x direction, Ny pixels in the y direction, and Mx × Ny = M (M, Mx, Ny are integers of 2 or more), the phase of one cycle The luminance data of the phase obtained by dividing the above into N equal parts is obtained as the luminance data in the region of Mx × Ny.
格子線１００は投影されている格子の位相０の線、格子線１０１は投影されている格子の位相π／２（９０度）の線、格子線１０２は投影されている格子の位相π（１８０度）の線、格子線１０３は投影されている格子の位相３π／２（２７０度）の線を表す。
The
図７の各画素に書いてある数字は、投影されている格子の位相の番号を示しており、０は位相０（０度）、数字が増えるごとに位相が２π／（Mx×Ny）ずつ増える。この図の場合、２π／９（４０°）ずつ増える。 The numbers written on each pixel in FIG. 7 indicate the phase numbers of the projected lattice. 0 is the phase 0 (0 degree), and the phase increases by 2π / (Mx × Ny) as the number increases. increase. In the case of this figure, it increases by 2π / 9 (40 °).
図８は本発明で用いられる格子画像の例１の画像を示す図である。格子は、斜めに等間隔に投影されている。符号９１のM×１画素の領域を見ると、ｘ方向の１ピッチはM画素である。ｙ方向の１ピッチはNｙ画素となるように投影する格子の向きを調整している。すなわち、格子線のピッチや方向をうまく調整すると、Ｍｘ×Ｎｙの長方形領域の各画素の位相の変化が等間隔で得られる位置がある。図８では、Ｍｘ×Ｎｙ＝Ｍ画素のデータが２πをＭ分割した位相変化となっており、これを用いて位相解析を行うことが可能である。
FIG. 8 is a diagram showing an image of Example 1 of the grid image used in the present invention. The grids are projected diagonally at equal intervals. Looking at the region of M × 1 pixel of
格子線１１０は投影されている格子の位相０の線、格子線１１１は投影されている格子の位相π／２（９０度）の線、格子線１１２は投影されている格子の位相π（１８０度）の線、格子線１１３は投影されている格子の位相３π／２（２７０度）の線を表す。
The
図８において各画素に書いてある数字は投影されている格子の位相の順番を示す。この図の各画素に書いてある数字は、位相の番号を示しており、０は位相０（０度）、数字が増えるごとに位相が２π／（Mx×Ny）ずつ増える。具体的には、ｘ方向に９画素とｙ方向に１画素で１周期となり、この９画素（符号９１で示される領域）から位相解析が可能である。一方、ｘ方向に３画素、ｙ方向に３画素の計９画素（符号９２で示される領域）をみると、どちらも１周期を９分割した同じ位相のデータが得られている。ｘ方向もｙ方向も３画素の空間分解能となり、ｘ方向も、ｙ方向も、同じ等方性の精度の良い位相解析が可能である。 The numbers written on each pixel in FIG. 8 indicate the order of the phases of the projected grid. The numbers written on each pixel in this figure indicate the phase numbers, where 0 is the phase 0 (0 degree), and the phase increases by 2π / (Mx × Ny) as the number increases. Specifically, 9 pixels in the x direction and 1 pixel in the y direction form one cycle, and phase analysis is possible from these 9 pixels (the region indicated by reference numeral 91). On the other hand, looking at a total of 9 pixels (region indicated by reference numeral 92) of 3 pixels in the x direction and 3 pixels in the y direction, data having the same phase obtained by dividing one cycle into 9 is obtained. The spatial resolution of 3 pixels is obtained in both the x-direction and the y-direction, and it is possible to perform the same isotropic and accurate phase analysis in both the x-direction and the y-direction.
図８の場合も、符号９１で示される領域のM画素を解析しても位相が求められるが、符号９２で示される領域のMx×Nｙ（＝M）画素を解析しても同じように画素データが得られており、こちらを解析しても位相が得られる。この符号９２で示される領域のｘ方向の領域の長さが、符号９１で示される領域のｘ方向の長さよりも短く領域が正方形に近いため、空間分解能の方向性が少なく急な段差があってもその影響の及ぶ範囲が小さくてすむ。
In the case of FIG. 8, the phase can be obtained by analyzing the M pixel in the region indicated by
具体的には図８に示すように、Mx=3,Ny=3,M=9に選ぶと、領域９１であるｘ方向にM（＝９）画素、ｙ方向に１画素の輝度データと、ｘ方向にMx（＝３）画素、ｙ方向にNy（＝３）画素の輝度データとが同じ位相配置となる。領域９１の輝度データを使う代わりに領域９２の輝度データを使えば、同じように解析できることになり、細長い領域９１の輝度データよりも正方形に近い領域９２の輝度データを使う方が、空間分解能が良くなるといえる（なぜなら、領域９１ではｘ方向に９画素のデータを使って位相を求めているが、領域９２ではｘ方向に３画素のデータを使っているだけであり、ｘ方向の空間分解能が良くなる。）。
Specifically, as shown in FIG. 8, when Mx = 3, Ny = 3, M = 9 are selected, the brightness data of M (= 9) pixels in the x direction and 1 pixel in the y direction, which is the
つぎに、撮影した格子画像のｘ方向Mｘ画素、ｙ方向Nｘ画素となる領域のM＝Mx×Ny個の輝度データを取り出し、その輝度データより数１８式を用いて（初期）位相θの解析を行う。
Next, the luminance data of M = Mx × Ny in the region where the x-direction Mx pixel and the y-direction Nx pixel of the captured lattice image are taken out, and the (initial) phase θ is analyzed using the
得られた画像の各画素ごとに位相解析の処理を行う。処理する画素の周辺にMx×Ny画素領域をとり、その領域の各画素の輝度データを各画素の位相の順（図８の場合、各画素に書いてある番号の順）に並べ、その輝度データを用いて数１８式により位相θを求める。その位相θと基準面の位相θRの差Θ（Θ＝θ−θR）に対応する高さ情報を計算により求める。あるいは全空間テーブル化手法により予め求めておいたテーブルより求める。
位相差Θと高さｈの関係は図３より数１９式で与えられる。
A phase analysis process is performed for each pixel of the obtained image. An Mx × Ny pixel area is set around the pixel to be processed, and the brightness data of each pixel in that area is arranged in the order of the phase of each pixel (in the case of FIG. 8, the order of the number written on each pixel), and the brightness thereof. The phase θ is obtained by the
The relationship between the phase difference Θ and the height h is given by the
この作業を１画素ずつずらしながら行う。すべての画素において、高さが求められれば形状が計測されたことになる。 This work is performed while shifting each pixel. If the height is required for all the pixels, the shape has been measured.
なお、１次元に複数に並んだ画素を基に、基準面から物体面までの高さｈを数１７式で求めたが、２次元に並んだ画素を基に、基準面から物体面までの高さｈも数１７式と同じように、数１９式によって求めることができる。
The height h from the reference plane to the object surface was obtained by the
図９は本発明で用いられる格子画像の例２の画像を示す図である。図８と格子の向きが異なっているが、図８と同様に符号９１で示される領域のM(=９)画素を解析しても位相が求められる。符号９２で示される領域（Mx＝３，Nｙ＝３の場合）の９画素を解析しても同じように輝度データが得られており、こちらを解析しても位相が得られる。
FIG. 9 is a diagram showing an image of Example 2 of the grid image used in the present invention. Although the orientation of the grid is different from that of FIG. 8, the phase can be obtained by analyzing the M (= 9) pixels in the region indicated by
図１０は本発明で用いられる格子画像の例３の画像を示す図である。図８と格子の向きが異なっているが、図８と同様に符号９１で示される領域のN（=９）画素を解析しても位相が求められる。符号９２で示される領域（Mx＝３，Nｙ＝３）の９画素を解析しても同じように輝度データが得られており、こちらを解析しても位相が得られる。
FIG. 10 is a diagram showing an image of Example 3 of the grid image used in the present invention. Although the orientation of the grid is different from that of FIG. 8, the phase can be obtained by analyzing the N (= 9) pixels in the region indicated by
図１１は本発明で用いられる格子画像の例４の画像を示す図である。図８と同様に符号９３で示される領域のM(=25)画素を解析しても位相が求められるが、符号９４で示される領域（Mx＝５、Nｙ＝５）の２５画素を解析しても同じように輝度データが得られ、こちらを解析しても位相が得られる。
FIG. 11 is a diagram showing an image of Example 4 of the grid image used in the present invention. The phase can be obtained by analyzing the M (= 25) pixels in the region indicated by
図１２は本発明で用いられる格子画像の例５の画像を示す図である。図８と同様に符号９５で示される領域のM(=15)画素を解析しても位相が求められる。符号９６で示される領域領域（Mx＝３、Nｙ＝５）の１５画素を解析しても同じように輝度データが得られ、こちらを解析しても位相が得られる。図１２に示されるように、長方形の領域でも位相を求めることができる。
FIG. 12 is a diagram showing an image of Example 5 of the grid image used in the present invention. Similar to FIG. 8, the phase can also be obtained by analyzing the M (= 15) pixels in the region indicated by
図１３は本発明で用いられる格子画像の例６の画像を示す図である。図８と同様に符号９７で示される領域のM(=20)画素を解析しても位相が求められる。符号９８で示される領域の（Mx＝４、Nｙ＝５）の２０画素を解析しても同じように輝度データが得られ、こちらを解析しても位相が得られる。
次に、全空間誤差テーブルを用いた形状計測法を説明する。上述した方法では、位相と高さの関係を計算により求めているが、全空間テーブル化手法を用いて各画素の位相を求めることが可能である。なお、全空間テーブル化法は、特開２０１１−２３７８号公報（和歌山大学）に記載されているように公知の技術である。
FIG. 13 is a diagram showing an image of Example 6 of the grid image used in the present invention. Similar to FIG. 8, the phase can also be obtained by analyzing the M (= 20) pixels in the region indicated by
Next, the shape measurement method using the total spatial error table will be described. In the above-mentioned method, the relationship between the phase and the height is obtained by calculation, but it is possible to obtain the phase of each pixel by using the whole space tabulation method. The whole space table method is a known technique as described in Japanese Patent Application Laid-Open No. 2011-2378 (Wakayama University).
全空間テーブル化手法は、各画素に対して位相と高さ（さらにはｘ，ｙ，ｚ座標）との関係を予め求めてテーブルとし、位相が求められれば、そのテーブルを見るだけで、高さ情報が得られる。このため三角測量による計算が不要となり高速計測となり、光学系のもつ誤差もテーブルを参照することによりキャンセルされ高精度となる。 In the all-spatial table-making method, the relationship between the phase and the height (further, x, y, z coordinates) is obtained in advance for each pixel to form a table, and if the phase is obtained, the height can be obtained simply by looking at the table. Information can be obtained. For this reason, calculation by triangulation becomes unnecessary, high-speed measurement is performed, and the error of the optical system is canceled by referring to the table, resulting in high accuracy.
本発明では、モアレトポグラフィに適用するので、位相と高さの関係は理論式で得られ、すべての画素で同じ式となる。しかし、光学系などの誤差により、理論と合わず、画素毎に誤差が出てくる。 In the present invention, since it is applied to moire topography, the relationship between phase and height can be obtained by a theoretical formula, and the same formula is obtained for all pixels. However, due to an error in the optical system or the like, it does not match the theory and an error occurs for each pixel.
そこで、全空間テーブルの代わりに、実際の計測高さと理論高さの比Qあるいは実際の計測高さと理論高さの差Ｓをテーブル化した全空間誤差テーブルを作成し、位相より得られた理論高さにこのテーブル値Qを掛け算することにより、あるいは理論高さにSを加えることにより、高さを求める方法とする。この全空間誤差テーブルは、画素毎の誤差分布を表しており、この表のデータを可視化し、誤差が小さくなるように光学系を調節することにより、光学系の調整などがし易くなる。 Therefore, instead of the whole space table, we created a whole space error table that tabulates the ratio Q of the actual measured height and the theoretical height or the difference S between the actual measured height and the theoretical height, and the theory obtained from the phase. The height is obtained by multiplying the height by this table value Q or by adding S to the theoretical height. This total spatial error table represents the error distribution for each pixel, and by visualizing the data in this table and adjusting the optical system so that the error becomes small, it becomes easy to adjust the optical system.
上述したように本発明では、長方形領域（正方形を含む、具体的には３×３画素）の領域の画像データを使って位相解析を行っている。本発明では、同じ領域にｘ方向ピッチの異なる２種類の格子を用い、それぞれの位相を解析し、その結果より位相接続を行い、ダイナミックレンジの広い位相解析方法を実現できる。 As described above, in the present invention, the phase analysis is performed using the image data in the rectangular region (including the square, specifically, 3 × 3 pixels). In the present invention, it is possible to realize a phase analysis method having a wide dynamic range by using two types of lattices having different x-direction pitches in the same region, analyzing the phases of each, and making a phase connection based on the results.
長方形（正方形を含む）領域の画素においてｘ方向に周波数の異なる２種類以上の波を入れ、その領域の画像の輝度データより、それぞれの波を、フーリエ変換などを用いて分離抽出し、それらの波の位相を求める（実際にはフーリエ変換をしなくても直接位相を求める周波数１に対応した位相を求める数７式やより高い周波数に対応した同等の式に代入すれば良い）。
Two or more types of waves with different frequencies in the x direction are inserted in the pixels of the rectangular (including square) region, and each wave is separated and extracted from the brightness data of the image in that region by using Fourier transform or the like, and these waves are separated and extracted. Find the phase of the wave (actually, you can find the phase directly without performing the Fourier transform by substituting it into the
求めた２つ以上の波の位相より位相接続を行い、ダイナミックレンジの広い形状計測法とすることができる。本発明の実施形態１、２では、ｘ方向の格子ピッチが１種類の格子だけを投影したため、ダイナミックレンジが狭い。本発明の方法は、２種類の格子を一度に投影することにより、ダイナミックレンジを広げる方法を提供する。その技術内容を以下に示す。 A shape measurement method having a wide dynamic range can be obtained by making a phase connection from the phases of two or more waves obtained. In the first and second embodiments of the present invention, since only one type of grid is projected with a grid pitch in the x direction, the dynamic range is narrow. The method of the present invention provides a method of widening the dynamic range by projecting two types of grids at once. The technical contents are shown below.
図１４はカメラの各画素に映った格子の画像を示す模式図であり、一番小さな正方形が１画素の大きさ、斜めの線が格子の位相を表している。符号１３０の格子の線が位相０の線、符号１３１の格子の線が位相π／２の線、符号１３２の格子の線が位相πの線、符号１３３の格子の線が位相３π／２の線を表している。符号１２０の領域に示す横１ライン９画素のデータを見ると、画素が隣へ移動するたびに位相が増えていき、９画素で２周期分の位相変化となっている。
FIG. 14 is a schematic diagram showing a grid image reflected on each pixel of the camera, in which the smallest square represents the size of one pixel and the diagonal line represents the phase of the grid. The line of the grid of
この場合、符号１２１で示される３×３画素の領域を見ると、１行目は符合１２０の領域で示される９×１画素の領域の最初の３画素、２行目は次の３画素、３行目はその次の３画素の位相と同じデータが並んでおり、符合１２０の領域を解析しても、符合１２１の領域を解析しても同じように位相が得られることになる。
In this case, looking at the 3 × 3 pixel area indicated by
図１５の場合は、符合１２２の領域で位相が３周期変化している。符号１２３で示される３×３画素の領域を見ると、１行目は符合１２２の領域の最初の３画素、２行目は次の３画素、３行目はその次の３画素の位相と同じデータが並んでおり、符合１２２の領域を解析しても、符号１２３の３×３の領域を解析しても同じ位相が得られることになる。
In the case of FIG. 15, the phase changes by three cycles in the region of the
図１４の９個のデータを用いてフーリエ変換を行うと、周波数２あるいは−２のみが存在することになる。図１５の９個のデータを用いてフーリエ変換を行うと、周波数３あるいは−３のみが存在することになる。
When the Fourier transform is performed using the nine data shown in FIG. 14, only the
図１４の格子と図１５の格子を重ねて（輝度を足しあわせて）、図１６のように投影すると、符合１２４の領域のデータには、周波数２の格子と周波数３の格子が重なりあっており、この画像データをフーリエ変換すると周波数２と３の成分が出てくる。
When the grid of FIG. 14 and the grid of FIG. 15 are overlapped (adding the brightness) and projected as shown in FIG. 16, the grid of the
この周波数の位相を解析すると、それぞれの波の位相を得ることができる。周波数の異なる波２つの位相から、位相接続することができ、２つの位相の差が２πになるまでの範囲を広げて解析できる。
本発明による位相解析方法は、物体のひずみ解析に適用できる。例として、平面内での面内１次元微小変形を考える。面外変形がなく、微小変形であるので、この場合も、格子のピッチはかわらず位相のみが変化すると考えることができる。ｘ方向のピッチをｐｘとすると、位相の変化量がΔΘのとき、ｘ方向の変位ｕは、数２０式で与えられる。
By analyzing the phase of this frequency, the phase of each wave can be obtained. Waves with different frequencies can be phase-connected from two phases, and the range until the difference between the two phases becomes 2π can be expanded for analysis.
The phase analysis method according to the present invention can be applied to strain analysis of an object. As an example, consider an in-plane one-dimensional microdeformation in a plane. Since there is no out-of-plane deformation and it is a minute deformation, it can be considered that only the phase changes without changing the pitch of the lattice in this case as well. Assuming that the pitch in the x direction is px, the displacement u in the x direction is given by the
上記の位相の変化量は、次のようにして求める。変形を測定する物体に格子を描画する。そして、描画された格子を撮像する。撮像手段は先述のとおりの装置を用いることができる。 The amount of change in the above phase is obtained as follows. Draw a grid on the object whose deformation is to be measured. Then, the drawn grid is imaged. As the imaging means, the device as described above can be used.
前記物体に描画された格子を撮像した画像のｘ方向Ｍｘ画素、ｙ方向Ｎｙ画素からなる長方形内（Ｍｘ、Ｎｙは２以上の整数）において、描画されている格子の位相が２ｍπ（ｍは整数）をＭｘ×Ｎｙ（＝Ｍ）等分されているように光学系を調節する。 The phase of the drawn lattice is 2 mπ (m is an integer) in a rectangle consisting of Mx pixels in the x direction and Ny pixels in the y direction (Mx and Ny are integers of 2 or more) in the image of the lattice drawn on the object. ) Is equally divided into Mx × Ny (= M), and the optical system is adjusted.
物体に描画された格子を撮像した画像のｘ方向Ｍｘ画素、ｙ方向Ｎｙ画素からなる長方形内（Ｍｘ、Ｎｙは２以上の整数）において、描画されている格子の位相が２ｍπ（ｍは整数）をＭｘ×Ｎｙ等分した輝度値を得る。そして、得られた輝度値を用いて、前記長方形内における位相を数１８式により算出する。前記物体に描画された格子を撮像した画像の画素ごとに前記長方形の領域をずらして画素ごとに位相を求める。
In a rectangle consisting of Mx pixels in the x direction and Ny pixels in the y direction (Mx and Ny are integers of 2 or more) in the image of the lattice drawn on the object, the phase of the drawn lattice is 2 mπ (m is an integer). To obtain a brightness value obtained by equally dividing Mx × Ny. Then, using the obtained luminance value, the phase in the rectangle is calculated by the
次に、物体の変形後に、物体に描画された格子の変更後の模様を撮像する。前記物体に描画された格子の変形後の模様を撮像した画像の、ｘ方向Ｍｘ、ｙ方向Ｎｙ画素からなるＭｘ×Ｎｙ画素の長方形領域において、２ｍπをＭｘ×Ｎｙ等分した輝度値を得る。そして、得られた輝度値を用いて、変形後の前記長方形内における位相を数１８式により算出する。物体の変形後の格子模様を撮像した画像の画素ごとに前記長方形の領域をずらして画素ごとに位相を求める。
Next, after the deformation of the object, the changed pattern of the grid drawn on the object is imaged. A luminance value obtained by equally dividing 2 mπ into Mx × Ny in a rectangular region of Mx × Ny pixels composed of Mx in the x direction and Ny pixels in the y direction in an image obtained by capturing the deformed pattern of the lattice drawn on the object. Then, using the obtained luminance value, the phase in the rectangle after deformation is calculated by the
そして、前記物体の変形前後の各画素における位相差に基づいて物体面の変位を数２０式に基づいて算出することができる。
Then, the displacement of the object surface can be calculated based on the
格子を描画する物体の面は平面に限らない。物体表面の面内での変位を測定するので、物体の表面が曲面であってもよい。 The surface of the object that draws the grid is not limited to a plane. Since the displacement of the surface of the object in the plane is measured, the surface of the object may be a curved surface.
次に、射影変換の技術を用いる本発明の方法について説明する。
本発明は、射影変換を用いて変形格子を長方形格子や正方形格子に変換して位相解析を行なう形状および／または変形計測法に適用できる。
Next, the method of the present invention using the technique of projective transformation will be described.
The present invention can be applied to a shape and / or deformation measurement method in which a deformation grid is converted into a rectangular grid or a square grid by using a projective transformation to perform phase analysis.
本発明は物体面の格子をカメラにより撮影して解析し、計測する方法に適用できる。本発明は、物体に投影された格子像あるいは、物体に描画された格子を撮像した画像の輝度データをもとに、高精度に位相値を求めることが可能となる位相解析方法に関する。そして、ＯＰＰＡ法に適用して、高精度に求めた位相をもとに、基準とする面からの物体面の高さを計測して物体面形状を計測するだけでなく、物体面に設けた格子模様をカメラによって撮影することにより、物体面の面内方向への変位を計測することもできる。
以下、本発明の実施形態を図面と共に説明する。
The present invention can be applied to a method of photographing and analyzing a grid of an object surface with a camera and measuring it. The present invention relates to a phase analysis method capable of obtaining a phase value with high accuracy based on a lattice image projected on an object or brightness data of an image obtained by imaging a lattice drawn on an object. Then, by applying it to the OPPA method, based on the phase obtained with high accuracy, not only the height of the object surface from the reference surface is measured to measure the object surface shape, but also the object surface is provided. By photographing the lattice pattern with a camera, it is possible to measure the displacement of the object surface in the in-plane direction.
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜ＯＰＰＡ法＞
図１、図１７Ａ，図１７Ｂに示すように、格子投影法の一つであるモアレトポグラフィの光学系において、物体上に投影された格子２の画像は、物体の高さに関係なく、カメラ内の撮像面では一定の長さとなり、高さにより格子の位相だけが異なる（以下、「ＯＰＰＡ法」という。）。撮影した格子１ピッチの輝度データより位相を解析することにより、すべての画素の位相の解析が可能となる。
<OPPA method>
As shown in FIGS. 1, 17A, and 17B, in the optical system of moiretopography, which is one of the lattice projection methods, the image of the
図１７Ａ，図１７Ｂにおいて、格子２は光源１である点光源Ｌと基準面Ｒあるいは計測面Ｍとの間に配置される。点光源Ｌから出射した光は、基準面Ｒでは例えば、光路Ａ―Ｅ−Ｃ―レンズ７−G(カメラ撮像面６Ｓ上)というように、カメラ撮像面６Ｓに到達する。
計測面Ｍの高さである基準面Ｒからの高さｈと基準面Ｒからの位相差ΘＭの関係は、数２１式に示される関係があり、格子に平行な面のｘ，ｙ座標には関係しない。ここで、ｐ’は基準面Ｒでの格子２の影の格子のピッチ、ｚＲは光源１の点光源から基準面Ｒまでの距離、ｖは点光源とカメラレンズ中心の距離である。
In FIGS. 17A and 17B, the
The relationship between the height h from the reference surface R, which is the height of the measurement surface M, and the phase difference Θ M from the reference surface R has the relationship shown in
この式において、位相差ΘＭが２πとなるときの高さＨが計測可能範囲ダイナミックレンジを示し、数２２式で表される。
In this equation, the height H when the phase difference Θ M is 2π indicates the measurable range dynamic range, and is expressed by the
図１７Ａ，図１７Ｂのモアレトポグラフィの光学系はデジタルカメラ５を含む。デジタルカメラ５はカメラ撮像面６Ｓおよびカメラのレンズ７を有する。デジタルカメラ５において、デジタルカメラ５を見ると、カメラのレンズ７とのカメラ撮像面６Ｓは平行であり、デジタルカメラ５の光軸はレンズ面に垂直である。この図の場合、撮像面中心はカメラレンズ中心から右方向にずれている。すなわちレンズ７がシフトしている。このためカメラレンズ中心が撮像面中心に対してずれていない普通のカメラを使った場合は、計測範囲が狭くなる。計測範囲を広くしたい場合は普通のカメラは使えず、シフトレンズなどを使った特殊なカメラが必要となる。
The moire topography optical system of FIGS. 17A and 17B includes a
このとき、基準面Ｒに投影された格子と、カメラ撮像面６Ｓに撮影された格子画像を図１８Ａ，図１８Ｂに示す。図１８ＡはＯＰＰＡ法により、基準面Ｒに投影した格子模様を示す図である。図１８ＢはＯＰＰＡ法により、基準面Ｒに投影した格子模様を撮影した等間隔の格子画像を示す図である（格子面に垂直な光軸をもつカメラから撮影したとき、カメラ撮像面６Ｓに撮像される格子模様）。
At this time, the grid projected on the reference plane R and the grid images captured on the
基準面Ｒ上で正方形である格子模様はカメラ撮像面６Ｓの画像面でも正方形となっており、１ピッチをＮ（例えばＮ＝９）画素に合わせると、計測面Ｍがどの高さにおいても１ピッチがＮ画素となり、計測面の高さにより、位相のみが異なる。そこで、ＯＰＰＡ法を用いて、１ピッチ（Ｎ画素）のフーリエ変換を行い、その部分の位相を求めると、高さｈがわかる。
The grid pattern that is square on the reference surface R is also square on the image surface of the
図１９Ａ，図１９Ｂは本発明による光学系を示す図である（ＨＯＰＰＡ法）。本発明の実施形態における光学系において、カメラの光軸は格子２の格子面に対して傾いており、シフト機構を持たない普通のカメラを用いて、広範囲を撮影することができる。
19A and 19B are diagrams showing an optical system according to the present invention (HOPPA method). In the optical system according to the embodiment of the present invention, the optical axis of the camera is tilted with respect to the lattice plane of the
図２０Ａは図１９Ａにおいて基準面に投影した格子を示す図である。図２０Ｂは基準面に投影した格子を、カメラで撮影した不等間隔の格子画像を示す図である（格子面に対して、光軸が斜め方向であるカメラから撮影したとき）。この場合、撮影した画像は図２０Ｂに示すように、１ピッチがＮ画素の正方形（ｘ，方向とｙ方向でＮの画素数が異なる長方形でも良い）とならず、４角形となっている。 FIG. 20A is a diagram showing a grid projected onto a reference plane in FIG. 19A. FIG. 20B is a diagram showing a grid image projected on a reference plane at unequal intervals taken by a camera (when taken from a camera whose optical axis is oblique to the grid plane). In this case, as shown in FIG. 20B, the captured image is not a square with N pixels at one pitch (a rectangle having different numbers of N pixels in the x and y directions), but is a quadrangle.
この場合、図２０Ａと図２０Ｂの２つの格子画像は、ホモグラフィ変換などの射影変換により対応付けができる。射影変換は公知の数学的な変換方法である。この射影変換を用いると、図２１の左図に示すように、斜め方向のカメラから撮影した扁平した４角形の格子画像が、正方形の格子画像になる。これにより、公知のＯＰＰＡ法による位相解析が可能となる。この場合、格子画像は、基本的に整数画素ピッチの格子画像となっているため、ＯＰＰＡ法で使用する周波数１の基本周波数はかなり正確に抽出することができ、精度良い位相解析が可能となる。
In this case, the two grid images of FIGS. 20A and 20B can be associated with each other by a projective transformation such as a homography transformation. The projective transformation is a known mathematical transformation method. When this projective transformation is used, as shown in the left figure of FIG. 21, a flat square grid image taken from a camera in an oblique direction becomes a square grid image. This enables phase analysis by the known OPPA method. In this case, since the grid image is basically a grid image with an integer pixel pitch, the fundamental frequency of
つぎに、図２２Ａに示すように、基準面が格子面に対して平行に配置されていない場合を考える。図２２Ａに示されるように、基準面Ｒ’は格子２の格子面に対して平行に配置されていない。この場合も、図２３に示すように、射影変換により、左図の斜め方向の基準面Ｒ’に投影された格子２を撮影した格子画像が、右図に示される正方形の格子画像に変換される。１辺が整数Ｎ画素となる場所にある仮想基準面Ｒ’’に投影されている格子画像を作ることができる（図２２Ｂ参照）。このようにして撮影してもカメラに映った画像は基準面Ｒ’からの高さを表す。図７は基準面Ｒ’が傾いている場合の撮影した格子と射影変換した格子画像の例を示す図である。
Next, as shown in FIG. 22A, consider a case where the reference planes are not arranged parallel to the grid planes. As shown in FIG. 22A, the reference plane R'is not arranged parallel to the grid plane of the
図２４に示すように、カメラ撮像面６Ｄと基準面Ｒ’両方が格子２の格子面に平行でない場合も、撮影した画像を射影変換することにより、仮想基準面Ｒ’’の画像に変換することができ、計測面における位相解析を高精度に行なうことが可能となる。
格子２が正しく投影される仮想基準面Ｒ’’に対してずれた位置に置かれた実際の基準面Ｒ’に格子２が投影される。この基準面Ｒ’に投影された格子像をデジタルカメラ５で撮影し、そのカメラ撮像面６Ｄに記録される。物体３の物体表面に投影された格子模様はカメラ撮像面６Ｄで記録されるが、これを仮想基準面Ｒ’’で記録されたと考えても、位相は同じである。
As shown in FIG. 24, even when both the
The
カメラ撮像面６Ｄで記録された格子像を仮想基準面Ｒ’’に射影して、その位相を求めても良い。すなわち、カメラ撮像面６Ｄの画像を仮想基準面Ｒ’’の座標に変換して、位相を解析すればよい。これにより、仮想基準面Ｒ’’上では等間隔となり、位相のみが異なってくる。したがって、ＯＰＰＡ法による位相解析が可能となる。
The lattice image recorded on the
射影変換の方法を用いる場合も、図４に示される計測装置を使用することができる。前述のとおり、１はＬＥＤ等のランプであり、光源に相当する。２は格子、３は計測対象の物体、４は載置台、５はデジタルカメラ、６は撮像素子、７はレンズ、８はコンピュータ、９は出力装置である。計測結果を得るだけであればコンピュータ８などに結果を記憶すればよいので、出力装置９はなくてもよい。また、ランプ１と格子２としては、市販の液晶プロジェクタなどのプロジェクタを用いてもよい。この場合、液晶表示素子等で格子を表示して格子２を形成する。プロジェクタを用いると、格子のピッチや格子線の方向を自在に変更することができる。
When the method of projective transformation is also used, the measuring device shown in FIG. 4 can be used. As described above, 1 is a lamp such as an LED, which corresponds to a light source. 2 is a grid, 3 is an object to be measured, 4 is a mounting table, 5 is a digital camera, 6 is an image sensor, 7 is a lens, 8 is a computer, and 9 is an output device. If only the measurement result is to be obtained, the result may be stored in the
物体３をランプ１で照射すると、物体面に格子２の影が投影され、レンズ７を介してデジタルカメラ５の撮像素子６に影の像が映る。映った像はデジタルカメラ５からコンピュータ８に送られる。そして、コンピュータ８では、記憶されている本発明の方法を実現するプログラムにより前記像が解析されて計測値が得られる。得られた計測値はコンピュータ８に記憶されるとともに、必要であれば出力画像などに加工され、出力装置９に送られて出力される。出力装置は具体的には表示装置や印刷装置などである。
When the
コンピュータ８には、公知の全空間テーブル化法を実行するためのデータテーブル８ａをメモリに記憶することも可能である。また、本発明に係るプログラムをコンピュータ８で実行することができる。また、本発明に係るプログラムを記録した記録媒体８ｂをコンピュータ８に装着することで、本発明に係る計測方法を実行することができる。
本発明に係る格子像の射影変換により格子像を変換する方法を、例えば、特許文献１や特許文献２に開示される計測方法および計測装置に適用し、計測対象物の形状あるいは変形を測定することができる。また、本発明は、特許文献１や特許文献２に限定されず、計測面での位相解析をもとに、計測対象物の形状あるいは変形を測定する方法や装置に適用できる。
The
The method of converting a grid image by projective transformation of the grid image according to the present invention is applied to, for example, the measuring method and measuring device disclosed in
基準面を載置台４の表面としても良く、載置台４の上に基準面を有する物体を載置しても良い。基準面と物体面があれば計測できるので、基準面の代わりに物体面を有した物体を置いても良い。また、ランプ１、格子２、物体３、載置台４、デジタルカメラ５を含んだ全体を横にした状態とし、横方向で物体面形状を計測することも可能であり、斜め方向で計測することも可能である。
The reference surface may be used as the surface of the mounting table 4, or an object having the reference surface may be placed on the mounting table 4. Since measurement can be performed if there is a reference plane and an object plane, an object having the object plane may be placed instead of the reference plane. It is also possible to measure the object surface shape in the horizontal direction with the
上述したように、本発明によれば、精度良く解析するため、撮影した格子画像を座標変換により、格子ピッチが一定の整数画素となるように長方形格子や正方形格子に変換し、変換された格子画像をサンプリングモアレ法やＯＰＰＡ法により位相解析する。これにより、精度が良くなるだけでなく、撮影時に格子画像が長方形や正方形となるように光学系を調整する必要がなく、格子画像の撮影が容易になる。 As described above, according to the present invention, in order to analyze with high accuracy, the captured grid image is converted into a rectangular grid or a square grid so that the grid pitch becomes a constant integer pixel by coordinate conversion, and the converted grid. The image is phase-analyzed by the sampling moire method or the OPPA method. This not only improves the accuracy, but also makes it easy to take a grid image because it is not necessary to adjust the optical system so that the grid image becomes a rectangle or a square at the time of shooting.
ＯＰＰＡ法はモアレトポグラフィの光学系を用いている。この光学系は光源とカメラレンズ高さが格子面から同じ高さであり、さらに、基準面とカメラ撮像面が格子面に平行である必要があり制限が多かった。本発明の方法はこの制限を緩和し、光学系の融通性を広くするもので、格子画像が長方形や正方形となる仮想の基準面を使うことができ、カメラ撮像面は格子面に平行でなくても良い方法で、光学系の配置が容易になる。 The OPPA method uses a moire topography optical system. In this optical system, the height of the light source and the camera lens must be the same as the height of the lattice plane, and the reference plane and the camera imaging plane must be parallel to the grid plane, which is often limited. The method of the present invention relaxes this limitation and widens the flexibility of the optical system. A virtual reference plane in which the grid image is rectangular or square can be used, and the camera imaging plane is not parallel to the grid plane. The optical system can be easily arranged in a good manner.
基準面に投影された格子を斜め方向から撮影しても、撮影された格子画像と、カメラ撮像面が基準面に平行な場合の撮像面の画像とは１：１の対応関係があり、撮影された格子画像をホモグラフィ変換などの射影変換によりカメラ撮像面が基準面に平行な場合の撮像面の格子画像に対応付けることができる。 Even if the grid projected on the reference plane is photographed from an oblique direction, there is a 1: 1 correspondence between the captured grid image and the image of the imaging surface when the camera imaging surface is parallel to the reference plane. The resulting lattice image can be associated with the lattice image of the imaging surface when the camera imaging surface is parallel to the reference surface by projective transformation such as homography conversion.
物体面に格子を投影した場合も同じ対応関係を使うことにより、撮像した画像から、カメラ撮像面が基準面に平行な場合の撮像面の画像を生成することができ、この格子画像の位相解析により高さを解析することが可能となる。すなわち、カメラ光軸が格子面に垂直でなくても、また、基準面の位置が正確に決まっていなくても、撮像した画像はすべて、ＯＰＰＡ法の１ピッチが整数Ｎ画素となる格子面に平行な仮想基準面の画像に対応させることができ、この対応した格子画像の位相を解析することにより。高さを求めることができるようになる。 By using the same correspondence when a grid is projected on an object surface, it is possible to generate an image of the image plane when the camera image plane is parallel to the reference plane from the captured image, and phase analysis of this grid image. Allows the height to be analyzed. That is, even if the camera optical axis is not perpendicular to the lattice plane and the position of the reference plane is not accurately determined, all the captured images are on the grid plane in which one pitch of the OPPA method is an integer N pixels. It is possible to correspond to an image of a parallel virtual reference plane, and by analyzing the phase of this corresponding lattice image. You will be able to find the height.
サンプリングモアレ法においては、材料に描いた格子の位相を解析することにより、格子面の面内の変位を求めることができる。カメラの光軸が格子面に垂直でない場合は、撮影された格子画像の場所により、格子の１ピッチの長さが異なって撮影され、位相の解析が困難となり、誤差も大きくなる。ところが、本発明に係る射影変換を用いる方法により、撮影した画像を、１ピッチの間隔が整数Ｎ画素となる平面に対応付けておくと、特許文献１や特許文献２に開示されるＯＰＰＡ法による格子の位相の解析が簡単となり、精度も良くなる。
In the sampling moiré method, the in-plane displacement of the lattice plane can be obtained by analyzing the phase of the lattice drawn on the material. If the optical axis of the camera is not perpendicular to the grid plane, the length of one pitch of the grid will be different depending on the location of the captured grid image, making it difficult to analyze the phase and increasing the error. However, if the captured image is associated with a plane in which the interval of one pitch is an integer N pixels by the method using the projective transformation according to the present invention, the OPPA method disclosed in
ＯＰＰＡ法を用いて形状計測を行なうモアレトポグラフィの光学系では、カメラ光軸は格子面に垂直であるなどの制限があり、カメラの光軸が対象物の中心にない場合は、カメラレンズをシフトさせる機構などが必要で制限があった。本発明を用いることにより、その制限が緩和され、光学系の組み方の自由度が増え、コンパクトな３次元形状計測装置となる。 In the moiretopography optical system that measures the shape using the OPPA method, there are restrictions such as the camera optical axis being perpendicular to the lattice plane, and if the camera optical axis is not in the center of the object, the camera lens is shifted. There was a limitation because a mechanism to make it work was necessary. By using the present invention, the limitation is relaxed, the degree of freedom in assembling the optical system is increased, and a compact three-dimensional shape measuring device is obtained.
サンプリングモアレ法において、カメラ光軸を格子面に垂直にしていない場合は、位相解析の誤差が大きくなるが、本発明により斜め方向からの撮影も可能となり、撮影の自由度が増え、計測が容易になる。このＯＰＰＡ法は、モアレトポグラフィの光学系を満足しないと形状計測ができなかった。すなわち、改良型のＯＰＰＡ法はその拘束を緩和するもので、カメラの光軸が格子面に対して垂直でなくても解析できる方法を提供できる。 In the sampling moiré method, if the optical axis of the camera is not perpendicular to the lattice plane, the error of phase analysis becomes large, but the present invention enables shooting from an oblique direction, increases the degree of freedom in shooting, and facilitates measurement. become. This OPPA method could not measure the shape unless the optical system of moire topography was satisfied. That is, the improved OPPA method relaxes the constraint, and can provide a method that can analyze even if the optical axis of the camera is not perpendicular to the lattice plane.
従来のサンプリングモアレ法は１ピッチの画素数が整数からずれると位相解析の誤差が大きかった。カメラで撮影した格子画像を射影変換により１ピッチが整数となるように変換してから位相解析を行なうと位相の精度が良くなる。また、これにより、物体面に垂直な光軸方向から撮影した画像として得られ、ＯＰＰＡ法による位相解析が可能となる。 In the conventional sampling moiré method, when the number of pixels in one pitch deviates from an integer, the error of phase analysis is large. If the grid image taken by the camera is converted so that one pitch becomes an integer by projective transformation and then phase analysis is performed, the phase accuracy is improved. Further, as a result, the image is obtained as an image taken from the direction of the optical axis perpendicular to the object surface, and the phase analysis by the OPPA method becomes possible.
モアレトポグラフィの光学系は大きなものを撮影する場合、装置が大きくなる。逆に、対象物が小さい場合にはカメラとプロジェクタが近づきすぎ、その配置ができない。本発明の方法を用いることにより、コンパクトな装置を組むことができるようになる。 The optical system of moire topography becomes large when shooting a large object. On the contrary, when the object is small, the camera and the projector are too close to each other and cannot be arranged. By using the method of the present invention, a compact device can be assembled.
格子を描画する物体の面は平面に限らない。物体表面の面内での変位を測定するので、物体の表面が曲面であってもよい。 The surface of the object that draws the grid is not limited to a plane. Since the displacement of the surface of the object in the plane is measured, the surface of the object may be a curved surface.
次に、対象物体の３次元形状データと対象物からのカラーデータを同時に取得する本発明の実施形態を説明する。
対象物を撮像するカメラとして、ＲＧＢ３板式のカメラを用いることができる。または、ベイヤー型の受光素子を備えた単板式のカメラを用いることができる。
Next, an embodiment of the present invention for simultaneously acquiring the three-dimensional shape data of the target object and the color data from the target object will be described.
As a camera that captures an object, an RGB 3-panel camera can be used. Alternatively, a single-plate camera equipped with a Bayer-type light receiving element can be used.
３ＣＣＤなどのＲＧＢ３板式のカメラの場合（図２５を参照）は、それぞれの輝度情報から上述の位相解析方法を採用して形状を計測すれば良い。図２５に示す計測装置は、分光手段１０により分光された光成分を、３つの撮像素子６Ｒ，６Ｇ，６Ｂで受光する。ＲＧＢそれぞれの光の受光成分により、形状が独立して求められる。この場合は、それぞれの形状データを平均化すれば精度良い結果が得られる。なお、ＲＧＢそれぞれの形状データは上述の位相解析の方法を用いることができる。
In the case of an RGB 3-panel camera such as a 3CCD camera (see FIG. 25), the shape may be measured by adopting the above-mentioned phase analysis method from each luminance information. The measuring device shown in FIG. 25 receives light components dispersed by the spectroscopic means 10 by three
上述の計測方法において一実施形態として、ＲＧＢ３板のカメラを用いることができる（図２５参照）。例えば、図１０のように３×３（９画素）で、ＲＧＢのそれぞれの９画素の平均値を求めると、格子の影響がなくなり、その物体の色が得られる。高画質の３Ｄ画像がリアルタイムで得られるため、用途が広く、医療、美容、服飾関連、スポーツ、芸術、コンピュータグラフィックスなどの分野で活用できる。 In the above-mentioned measurement method, as one embodiment, an RGB3 board camera can be used (see FIG. 25). For example, if the average value of each of the 9 pixels of RGB is obtained in 3 × 3 (9 pixels) as shown in FIG. 10, the influence of the grid is eliminated and the color of the object can be obtained. Since high-quality 3D images can be obtained in real time, it is versatile and can be used in fields such as medical care, beauty, clothing, sports, art, and computer graphics.
本発明の一実施形態では、カラーカメラ１台を用いて３次元形状とそのカラー情報とを取得する。１台のカラーカメラがベイヤー型の単板式のものであると、よりコンパクトでコストを抑えた計測装置を構成できる。
一般に、デジタルカメラやビデオカメラ、スキャナなどは撮像素子を使ってカラー画像を記録する。これらの機器に用いられているシングルチップのＣＣＤイメージセンサなど、単板式デジタル撮像素子はほとんどがベイヤー配列のカラーフィルターを採用している。ベイヤー配列には緑（Ｇ）・青（Ｂ）・赤（Ｒ）のフィルタがそれぞれ２：１：１の比率で含まれている。
In one embodiment of the present invention, one color camera is used to acquire a three-dimensional shape and its color information. If one color camera is a Bayer type single plate type, a more compact and cost-effective measuring device can be configured.
Generally, digital cameras, video cameras, scanners, and the like record color images using an image sensor. Most single-panel digital image sensors, such as the single-chip CCD image sensor used in these devices, use Bayer-arranged color filters. The Bayer sequence contains green (G), blue (B), and red (R) filters at a ratio of 2: 1: 1.
ベイヤー型の受光素子を有するカメラにおいて、その受光素子は、図２６に示すように、Ｒ（赤），Ｇ（緑），Ｂ（青）それぞれの画素が千鳥パターンのように並んでいる。そのため、ＲＧＢのデータを別々に取り出さない場合は、物体の色により輝度が異なるので、本発明による正確な形状計測はできない。また、ＲＧＢそれぞれの画素を別々に取り出すと、他の色の画素はデータが無いことになり、連続的なデータが得られず、位相解析ができなかった。 In a camera having a Bayer type light receiving element, as shown in FIG. 26, the R (red), G (green), and B (blue) pixels of the light receiving element are arranged in a staggered pattern. Therefore, if the RGB data are not taken out separately, the brightness differs depending on the color of the object, so that the accurate shape measurement according to the present invention cannot be performed. Further, when the pixels of each of RGB were taken out separately, the pixels of other colors had no data, continuous data could not be obtained, and phase analysis could not be performed.
特許文献１と特許文献２に開示される方法は、ｘ軸，ｙ軸に平行な格子線の場合は９×１画素、あるいは、勾配が１／３の斜めの方向の格子を使う場合は、３×３画素などの連続する輝度データを使用して位相解析を行なっている。
サンプリングモアレ法の場合は連続する数画素の輝度データを間引いたり補間したりして位相シフト画像を作り、位相計算をしている。
The methods disclosed in
In the case of the sampling moiré method, a phase shift image is created by thinning out or interpolating the brightness data of several consecutive pixels, and the phase is calculated.
ベイヤー型の単板式のカメラは図２６に示すように、Ｒ，Ｇ，Ｂそれぞれの画素が千鳥パターンのように並んでいる。勾配が１／３の格子を使う場合、図２７に示すように、この１部分を取り出す。そして、図２８に示すように、領域Ｗａの画素データを除外し、それぞれの奇数行と奇数列の輝度データを用いると同じ色の輝度データのみとなる。そして、この９個の輝度データを用いて特許文献２に開示される位相解析方法により位相解析を行なうことができる。
As shown in FIG. 26, the Bayer type single-plate camera has R, G, and B pixels arranged in a staggered pattern. When using a grid with a gradient of 1/3, this one portion is taken out as shown in FIG. 27. Then, as shown in FIG. 28, when the pixel data of the region Wa is excluded and the luminance data of the odd rows and the odd columns are used, only the luminance data of the same color is obtained. Then, the phase analysis can be performed by the phase analysis method disclosed in
すなわち、従来の方法では、１ピッチ９画素となるように設定していた特許文献１や特許文献２に開示される方法を、１ピッチ１８画素とし、光源光として、ＲＧＢ成分を含む光源光、例えば、白色光を用いる。
位相解析にあたっては、１７×１画素または、各画素の周り５×５画素の輝度データより、ｘ，ｙ方向に１画素ずつ飛ばすと同じ色の９画素となり、それぞれ位相が２π／９だけ異なっている。これを用いれば、特許文献１や特許文献２に開示される方法による位相解析が可能となる。ＲＧＢを分離しなくても、周辺の５×５画素の奇数行および奇数列のデータを用いて位相解析を行なえばよい（図２８参照）。
That is, in the conventional method, the method disclosed in
In the phase analysis, if one pixel is skipped in the x and y directions from the luminance data of 17 × 1 pixel or 5 × 5 pixels around each pixel, 9 pixels of the same color are obtained, and the phases are different by 2π / 9. There is. By using this, phase analysis by the method disclosed in
特許文献２に開示される方法で位相解析する場合、ベイヤー型の撮像素子で撮像した画像に対して、６×６画素を取り出さなくても（図２６参照）、５×５画素を取り出し（図２７参照）、その奇数行、奇数列のデータを取り出す（抽出する）と同じ色のフィルタを持つ画素となる（図２８参照）。図２６に示すように、縦と横の番号１〜６で特定される画素から、Ｒ、Ｇ、Ｂに対応する５×５画素を取りだす。
図２８に示すように、この９個のデータより、位相解析を行い、その結果を、前記の抽出した複数の画素のうちのいずれかの画素、例えば、中央の画素の位相とする。この操作を１画素ごとに繰り返していくと位相分布を求めることができる。
なお、位相分布はフィルタの色で変わることがないので、異なるフィルタで得られた位相分布を合成することが可能である。
When phase analysis is performed by the method disclosed in
As shown in FIG. 28, a phase analysis is performed from these nine data, and the result is taken as the phase of any one of the extracted plurality of pixels, for example, the center pixel. By repeating this operation for each pixel, the phase distribution can be obtained.
Since the phase distribution does not change depending on the color of the filter, it is possible to synthesize the phase distributions obtained by different filters.
ここで、５×５画素の輝度データの奇数行、奇数列の９画素の輝度データより、位相を解析する方法を説明したが、３×３画素、７×７画素、９×９画素、・・・、３×５画素、３×７画素、・・・、５×３画素、５×７画素、・・・などいろいろな組み合わせが考えられる。この中での奇数行奇数列を取り出して、その各画素の位相が順番に並べられた場合に、ちょうど等間隔で２πまで変わるように格子線の方向を斜めに向けて投影しておけばよい。このデータより位相解析を行い、その位相値を中央の画素に割り当て、それを全ての画素に対して行なうことで、位相分布が得られる。これにより、３次元形状計測ができる。なお、全ての画像ではなく、形状データやカラーデータを必要とする領域の画素のみに限定して処理してもよい。 Here, the method of analyzing the phase from the brightness data of 9 pixels in the odd rows and the odd columns of the brightness data of 5 × 5 pixels has been described, but 3 × 3 pixels, 7 × 7 pixels, 9 × 9 pixels, and so on. ... Various combinations such as 3x5 pixels, 3x7 pixels, ..., 5x3 pixels, 5x7 pixels, ..., Etc. can be considered. If the odd-numbered rows and odd-numbered columns are taken out and the phases of the pixels are arranged in order, the grid lines may be projected diagonally so as to change up to 2π at exactly equal intervals. .. A phase distribution can be obtained by performing phase analysis from this data, assigning the phase value to the central pixel, and performing it for all pixels. As a result, three-dimensional shape measurement can be performed. It should be noted that processing may be limited to pixels in a region that requires shape data or color data instead of all images.
射影変換を用いて格子を補間するＨＯＰＰＡ法の場合は、まず、ＲＧＢの各成分を抽出して９画素１ビッチとなるように射影変換する。つまり、特許文献２に開示される方法で解析する場合は、撮影した画像を、Ｒ，Ｇ１，Ｇ２，Ｂを４枚の画像に分離し、画像全体において、９画素１ピッチとなるように射影変換（ホモグラフィ変換）により割り付けてから、それぞれの画像に対して位相解析を行なう。
すなわち、ＲＧＢそれぞれ単色のデータを取り出し、そのデータを、射影変換後の座標に割り付ける。ベイヤー配列のＲＧＢを図２８に示すように分離し、４つの５×５画素の奇数行の輝度データ９個を用いて位相解析を行い、その結果を中央の画素の位相とする。領域Ｗａのデータを用いない。つまり、射影変換された画像に対して、例えば、図２８に示すように、３×３画素を取り出して、この９個のデータより、位相解析を行い、その結果を中央の画素の位相値として割り当てる。この操作を１画素ごとに繰り返していくと位相分布が求められる。なお、位相分布はフィルタの色で変わることがないので、異なるフィルタで得られた位相分布を平均化して合成することにより、精度の良い位相分布が求められる。ベイヤー配列の撮像素子を用い、ＲＧＢの画素データを抽出し、位相解析や色情報を取得する処理は、コンピュータ８によって行うことができる。
なお、１板式あるいは３板式の１台のカメラを用いて、対象物の表面の形状データとカラーデータとを同時に計測してもよいし、２枚の撮像画像を時差で撮影し、１枚目の撮像画像のデータを用いて形状データを計測し、２枚目の撮像画像のデータを用いてカラーデータを計測してもよい。また、形状データのみの計測、あるいは、カラーデータのみを計測の用途にも適用できる。
In the case of the HOPPA method in which the grid is interpolated by using the projective transformation, first, each component of RGB is extracted and the projective transformation is performed so as to have 9 pixels and 1 bitch. That is, when the analysis is performed by the method disclosed in
That is, the data of each single color of RGB is taken out, and the data is assigned to the coordinates after the projective transformation. RGB of the Bayer array is separated as shown in FIG. 28, phase analysis is performed using nine odd-numbered luminance data of four 5 × 5 pixels, and the result is taken as the phase of the central pixel. Area Wa data is not used. That is, for the projected image, for example, as shown in FIG. 28, 3 × 3 pixels are taken out, phase analysis is performed from these nine data, and the result is used as the phase value of the central pixel. assign. By repeating this operation for each pixel, the phase distribution can be obtained. Since the phase distribution does not change depending on the color of the filter, an accurate phase distribution can be obtained by averaging and synthesizing the phase distributions obtained by different filters. The
Note that the shape data and color data of the surface of the object may be measured at the same time using one one-plate or three-plate camera, or two captured images are taken with a time difference and the first image is taken. The shape data may be measured using the data of the captured image of the above, and the color data may be measured using the data of the second captured image. Further, the measurement of only the shape data or only the color data can be applied to the purpose of measurement.
１ 光源
２ 格子
３ 物体
４ 載置台
５ デジタルカメラ
６ 撮像素子
６Ｒ Ｒ撮像素子
６Ｇ Ｇ撮像素子
６Ｂ Ｂ撮像素子
６Ｓ カメラ撮像面
６Ｄ カメラ撮像面
７ レンズ
８ コンピュータ
８ａ データテーブル
８ｂ 記録媒体
９ 出力装置
１０ 分光手段
Ｌ 光源の位置
Ｖ カメラレンズの中心
Ｒ 基準面の点
Ｒ’ 基準面の点（基準面が格子面に対して平行ではない場合）
Ｒ’’ 仮想基準面（格子１ピッチが整数Ｎ画素となる面）
Ｓ 物体面の点
Ｃ ｚ軸と格子面の交点
Ｅ 格子の原点
Ｑ 光源から点Ｒへの光が格子面を通過する点
Ｇ 光源から点Ｓへの光が格子面を通過する点
Ｂ 物体面における点Ｓをｚ軸に垂直に投影した点
Ｐ 光源から点Ｒへの光が、物体面の点Ｓからｚ軸に垂直に投影した線を横切る点
Ｉ 基準面における点Ｒをｚ軸に垂直に投影した点
Ｗａ 領域
1
R'' Virtual reference plane (plane in which one grid pitch is an integer N pixel)
S Point on the object surface C The intersection of the z-axis and the lattice surface E Origin of the lattice Q The point where the light from the light source to the point R passes through the lattice surface G The point where the light from the light source to the point S passes through the lattice surface B The object surface Point S projected perpendicular to the z-axis at point P Light from the light source crosses the line projected perpendicularly to the z-axis from point S on the object surface I Point R on the reference plane is perpendicular to the z-axis Point projected on Wa area
Claims (6)
前記格子模様の画像からＲＧＢ成分ごとに奇数行と奇数列の各画素を抽出し、前記抽出した各画素の位相が前記各画素を順番に並べた場合に、等間隔で２πまで変わるように前記格子の格子線の方向を、前記カメラの前記２次元撮像素子の画素の配列方向に対して斜めに向けて投影する工程と、
前記物体に投影された格子模様を撮像する工程と、
前記ＲＧＢ成分ごとに前記抽出した各画素の位相を用いて位相解析を行い、位相解析により求められた位相を前記抽出した各画素のうちのいずれかの画素の位相とする工程と、
前記いずれかの画素の位相を求めることを前記撮像した前記格子模様のうちの少なくとも前記形状データを求める画素に対して行い位相分布を求める工程と、
前記求めた位相分布を用いて前記３次元物体の形状データを求める工程と、
を含む、
前記３次元物体の表面の形状データを取得する計測方法。 In Moire topography optical system, using a camera with a two-dimensional imaging device for receiving the RGB Bayer arrangement, using a light source light including RGB components, using a grid, the grid projected on the three-dimensional object by the light source light This is a measurement method for acquiring the shape data of the surface of the three-dimensional object by imaging the lattice pattern of the light source.
The extracts each pixel of odd rows and odd columns for each RGB component from the image of the lattice pattern, when the phase of each pixel and the extraction is ordered to each pixel, as described above vary at regular intervals until 2π A step of projecting the direction of the grid lines of the grid obliquely with respect to the arrangement direction of the pixels of the two-dimensional image sensor of the camera.
The process of imaging the checkerboard pattern projected on the object and
A step of performing a phase analysis using the phase of each of the extracted pixels for each of the RGB components and setting the phase obtained by the phase analysis as the phase of any of the extracted pixels.
A step of obtaining the phase of any of the pixels for at least the pixel for which the shape data is to be obtained in the imaged lattice pattern, and a step of obtaining the phase distribution.
The process of obtaining the shape data of the three-dimensional object using the obtained phase distribution, and
including,
A measurement method for acquiring shape data on the surface of the three-dimensional object.
前記格子模様の画像からＲＧＢ成分ごとに奇数行と奇数列の各画素を抽出し、前記抽出した各画素の位相が前記各画素を順番に並べた場合に、等間隔で２πまで変わるように前記格子模様の格子線の方向を、前記カメラの前記２次元撮像素子の画素の配列方向に対して斜めに向けて前記３次元物体に描画された格子模様を撮像する工程と、
前記抽出した各画素の位相を用いて位相解析を行い、位相解析により求められた位相を前記抽出した各画素のうちのいずれかの画素の位相とする工程と、
前記いずれかの画素の位相を求めることを前記撮像した前記格子模様のうちの少なくとも前記変位データを求める画素に対して行い位相分布を求める工程と、
前記位相分布を前記３次元物体の変形の前と後で求め、前記物体の変形前後の位相差に基づいて物体面の変位を求める工程と、
を含む計測方法。 Using a camera with a two-dimensional image pickup element for receiving RGB velvet ear sequences, using a light source light including RGB components, and imaging the grid patterns of the drawn grid in a three-dimensional object by the light source light, the three-dimensional A measurement method that acquires displacement data on the surface of an object.
The extracts each pixel of odd rows and odd columns for each RGB component from the image of the lattice pattern, when the phase of each pixel and the extraction is ordered to each pixel, as described above vary at regular intervals until 2π the direction of the grating lines of the grid pattern, a step of imaging the grid patterns drawn on the three-dimensional object obliquely with respect to the arrangement direction of the pixels of the two-dimensional image pickup device of the camera,
A step of performing a phase analysis using the phase of each of the extracted pixels and setting the phase obtained by the phase analysis as the phase of any one of the extracted pixels.
A step of obtaining the phase of any of the pixels for at least the pixel of the imaged lattice pattern for which the displacement data is to be obtained, and a step of obtaining the phase distribution.
A step of obtaining the phase distribution before and after the deformation of the three-dimensional object and obtaining the displacement of the object surface based on the phase difference before and after the deformation of the object.
Measurement method including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017151933A JP6923915B2 (en) | 2017-08-04 | 2017-08-04 | A computer-readable recording medium that records measurement methods, measuring devices, and measurement programs that can simultaneously acquire the three-dimensional shape of a color object and color information. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017151933A JP6923915B2 (en) | 2017-08-04 | 2017-08-04 | A computer-readable recording medium that records measurement methods, measuring devices, and measurement programs that can simultaneously acquire the three-dimensional shape of a color object and color information. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019032187A JP2019032187A (en) | 2019-02-28 |
| JP6923915B2 true JP6923915B2 (en) | 2021-08-25 |
Family
ID=65523324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017151933A Active JP6923915B2 (en) | 2017-08-04 | 2017-08-04 | A computer-readable recording medium that records measurement methods, measuring devices, and measurement programs that can simultaneously acquire the three-dimensional shape of a color object and color information. |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6923915B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113049104B (en) * | 2021-03-04 | 2022-07-12 | 珠海赛纳三维科技有限公司 | Three-dimensional object colorimetric value calculation method and device and three-dimensional object colorimetric value calculation system |
-
2017
- 2017-08-04 JP JP2017151933A patent/JP6923915B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019032187A (en) | 2019-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017175341A1 (en) | Measurement method, measurement device, measurement program, and computer-readable recording medium having measurement program recorded thereon | |
| CN109489585B (en) | Three-dimensional measurement method based on improved multi-frequency stripe structured light | |
| JP4873485B2 (en) | Shape measuring method and shape measuring apparatus using a number of reference surfaces | |
| CN106989695A (en) | A kind of projector calibrating method | |
| JP5633058B1 (en) | 3D measuring apparatus and 3D measuring method | |
| JP3937024B2 (en) | Detection of misalignment, pattern rotation, distortion, and misalignment using moiré fringes | |
| JP6590339B2 (en) | Measuring method, measuring apparatus, measuring program, and computer-readable recording medium recording the measuring program | |
| TWI512263B (en) | Shape measuring device and shape measuring method | |
| US20120113229A1 (en) | Rotate and Hold and Scan (RAHAS) Structured Light Illumination Pattern Encoding and Decoding | |
| JP7088530B2 (en) | 3D method and device for projecting measurement result-related information on the surface of an object to be measured | |
| JP2005520142A (en) | Method and apparatus for measuring absolute coordinates of object | |
| JP6923915B2 (en) | A computer-readable recording medium that records measurement methods, measuring devices, and measurement programs that can simultaneously acquire the three-dimensional shape of a color object and color information. | |
| JP3536097B2 (en) | Method and apparatus for measuring grating projection shape using frequency modulation grating | |
| JP2014059164A (en) | Shape measurement device and shape measurement method | |
| JP2913021B2 (en) | Shape measuring method and device | |
| JP2006064590A (en) | Line sensor, and shape measuring method and device by linear projector | |
| JP4548228B2 (en) | Image data creation method | |
| JP6884393B2 (en) | A method and device for performing phase analysis by converting a deformation grid into a rectangular grid or a square grid using projective transformation. | |
| JP6967382B2 (en) | MTF measuring device and its program | |
| JP6860377B2 (en) | Chart for MTF measurement | |
| JP2011252835A (en) | Three dimensional shape measuring device | |
| Jo et al. | Moiré vision: A signal processing technology beyond pixels using the moiré coordinate | |
| JP6942341B2 (en) | Wide measurement range deformation measurement method and its program | |
| JP2006003276A (en) | Three dimensional geometry measurement system | |
| KR100483345B1 (en) | A scanning system based upon two-wavelength projection Moire method and its autonomous calibration using registration for multi-head system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210318 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210721 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6923915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |