WO2016001985A1 - 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体 - Google Patents

計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2016001985A1
WO2016001985A1 PCT/JP2014/067419 JP2014067419W WO2016001985A1 WO 2016001985 A1 WO2016001985 A1 WO 2016001985A1 JP 2014067419 W JP2014067419 W JP 2014067419W WO 2016001985 A1 WO2016001985 A1 WO 2016001985A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase
plane
measurement
image
grid
Prior art date
Application number
PCT/JP2014/067419
Other languages
English (en)
French (fr)
Inventor
吉春 森本
明大 柾谷
哲史 高木
Original Assignee
４Ｄセンサー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ４Ｄセンサー株式会社 filed Critical ４Ｄセンサー株式会社
Priority to US14/906,987 priority Critical patent/US10267626B2/en
Priority to CN201480039901.XA priority patent/CN105579809B/zh
Priority to EP14896657.5A priority patent/EP3012576B1/en
Priority to PCT/JP2014/067419 priority patent/WO2016001985A1/ja
Priority to JP2015535637A priority patent/JP6590339B2/ja
Publication of WO2016001985A1 publication Critical patent/WO2016001985A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • the present invention is a non-contact, high-speed, high-speed measurement of the three-dimensional shape of the surface of a measurement object having a three-dimensional surface shape, such as a large structure, an industrial product, a sheet-like structure, a human body, animals and plants, or a natural shaped object.
  • the present invention relates to a three-dimensional shape measuring apparatus that can be performed with high accuracy. It can also be used for non-contact vibration surface position measurement and displacement distribution measurement.
  • a grid projection method for measuring a three-dimensional shape by projecting a grid pattern onto a measurement object and obtaining a phase for each pixel of a grid pattern image obtained by imaging the grid pattern projected onto the measurement object is known. is there.
  • Fig. 6 shows an example of an optical system of a shape measuring apparatus using a one-dimensional grid projection method.
  • the center of the camera lens and the height of the light source of the projector are the same as the reference plane, and the camera imaging plane and the grating plane are moiré topography optical systems parallel to the reference plane.
  • moire topography a white line can be photographed as a contour line at the position W in FIG. 6 and a black line can be photographed as a contour line at the position B.
  • the lattice projection method can analyze the deformation with high accuracy by analyzing the phase of the lattice, and can measure out-of-plane deformation and three-dimensional shape with high accuracy.
  • a phase analysis method a phase shift method or a Fourier transform method is used.
  • Non-Patent Document 1 the deformation of the object can be analyzed with high accuracy by analyzing the phase of the lattice, and in-plane deformation and high-precision measurement of a three-dimensional shape are possible (Non-Patent Document 1). , 2).
  • a phase analysis method a phase shift method or a Fourier transform method is used.
  • the sampling moire method Non-Patent Document 3
  • the Fourier transform method Non-Patent Documents 4 and 5 are useful for analyzing moving objects and the like because the phase can be analyzed with one image.
  • the sampling moire method uses two periods of data to calculate the phase
  • the Fourier transform method uses all pixel data to analyze the phase, and it can measure moving images with a small amount of image data. I could not.
  • the present invention is a new grating projection method for analyzing the phase of image data for one grating period by Fourier transform or the like. As a result, the phase distribution can be analyzed from one image at a high speed, and a moving image can also be analyzed.
  • the features of the present invention are as follows. (1) Since the measurement is based on phase analysis, the accuracy is good. (2) Since phase analysis can be performed with a single image, the shape of a moving object can be measured. (3) Since only frequency 1 is extracted by Fourier transform, it is not necessary to project a grid having an accurate cosine wave luminance distribution. (4) Since only frequency 1 is extracted by Fourier transform, noise that appears in the high-frequency portion is automatically deleted, so that it is resistant to noise. (5) Processing is simple and processing can be performed at high speed. (6) The gauge length is N pixels, which is shorter than the sampling moire method. Generally, the gauge length is shorter than the digital image correlation method. (7) In the sampling moire method, moire fringes are generated by linear interpolation. However, since the present invention correlates with a cosine wave, the accuracy is higher.
  • FIG. 1 is an explanatory diagram of an optical system of moire topography.
  • FIG. 2A is an explanatory diagram of the relationship between the phase of the object viewed by one pixel on the camera imaging surface and the phase of the reference surface.
  • FIG. 2B is an explanatory diagram of the relationship between the phase of the object viewed by one pixel on the camera imaging surface and the phase of the reference surface.
  • FIG. 3 shows the overall configuration of the apparatus according to the first embodiment.
  • FIG. 4 is an image of a grid reflected on the camera imaging surface.
  • FIG. 5A shows a grid processing procedure.
  • FIG. 5C is a grid processing procedure.
  • FIG. 5C is a grid processing procedure.
  • FIG. 6 shows a grating projection optical system (moire topography).
  • the present invention is a method of photographing an object surface grid with a camera, analyzing it, and measuring it.
  • it is also possible to measure the displacement of the object surface in the lateral direction by photographing a lattice pattern provided on the object surface with a camera.
  • ⁇ Optical system and coordinates> 1 and 2 are schematic diagrams for explaining the lattice projection mechanism of the shape measuring apparatus and the measurement object.
  • L represents the position of the light source
  • V represents the center of the camera lens.
  • the grating is at a distance of d from the position L of the light source, and the width of one period is p.
  • the center V of the camera lens and the height of the light source L of the projector are the same with respect to the reference plane, and the camera imaging plane and the lattice plane are parallel to the reference plane.
  • the object plane is located at a distance z1 away from the light source L
  • the reference plane is located at a distance z2 away
  • the lattice plane is located at a position d away from the light source L.
  • the lattice plane is parallel to the reference plane, and equally spaced one-dimensional lattice lines having a period p are drawn.
  • a point light source is used as the light source, but a one-line light source parallel to the grid lines may be used.
  • a surface including the light source L and parallel to the reference surface is called a light source surface.
  • x, y, z coordinates are taken with the light source as the origin, and the direction perpendicular to the reference plane is taken as the z direction.
  • the lower side is positive in the z direction.
  • the direction perpendicular to the grid lines drawn on the plane of the grid is the x direction
  • the direction parallel to the grid lines is the y direction.
  • the center of the camera lens is in the light source plane and is separated from the light source L by a distance v in the x direction.
  • the camera imaging plane is parallel to the reference plane and the lattice plane, and the i direction and j direction of the pixel coordinates (i, j) of the camera imaging plane coincide with the x direction and the y direction, respectively.
  • the image of one period of the grating on the camera imaging surface has the same width regardless of the height of the object plane or the reference plane. Therefore, if it is set so that one period of the grating is reflected in N pixels on the imaging surface of the digital camera, an image of one period of the grating is reflected in N pixels regardless of the height of the object plane or the reference plane. This will be described with reference to FIG.
  • the projected shadow of one period of the grating is x1 on the object plane and x2 on the reference plane.
  • the distance from the light source plane is z1 on the object plane, z2 on the reference plane, z3 on the camera imaging plane, and d on the lattice plane.
  • the shadow of one period p of the grating is x1 obtained by multiplying p by z1 / d on the object plane, and x2 obtained by multiplying p by z2 / d on the reference plane.
  • the size x4 on the camera imaging surface is x1 multiplied by z3 / z1
  • x5 is the size obtained by multiplying x2 by z3 / z2
  • x4 and x5 are both z3 / d times p. That is, the size of one period of the grating reflected on the camera imaging surface is determined by the ratio of the distance from the light source surface to the grating and the distance from the center of the camera lens to the camera imaging surface. Not affected.
  • the number of grids reflected on the camera imaging surface and the number of pixels on the camera imaging surface are always proportional, and the number of sensor pixels of the camera that captures an image of one grating period is constant regardless of the height of the object to be measured. Become. That is, if one period of the grating is set to be reflected in N pixels, one period of the grating is always reflected in consecutive N pixels.
  • the position at which the grating is reflected on the camera imaging surface changes when the distance to the object plane or the reference plane changes.
  • the phase of the grating reflected on the pixels on the camera imaging surface changes depending on the height from the reference plane to the object plane.
  • the height can be obtained by phase analysis. That is, if the N pixel is subjected to Fourier transform, the frequency 1 having the maximum power spectrum is extracted, and the phase of the frequency 1 is obtained, the height of the object surface or the like can be measured. In actual measurement, the height of the object surface or the like can be measured by setting the frequency in advance according to the optical system and obtaining the phase of the preset frequency.
  • FIG. 2A is an enlarged view of the upper part of FIG. 2B.
  • the center V of the camera lens is placed at the position of coordinates (v, 0, 0) on the x axis. That is, the center V of the camera lens is separated from the light source L by a distance v.
  • the point S on the object plane is reflected.
  • a line passing through the pixel, the point S, and the point R is shown as a camera line of sight.
  • a point obtained by projecting the point S on the object plane perpendicular to the z-axis is designated as point B
  • a point obtained by projecting the point R on the reference plane perpendicular to the z-axis is designated as point I.
  • a point where light from the light source position L to the point R passes through the lattice plane is defined as a point Q, and a light line from the light source position L to the point R projected from the point S on the object plane perpendicular to the z-axis is a line.
  • a point where the light crosses is defined as a point P.
  • a point where light from the position L of the light source to the point S passes through the lattice plane is defined as a point G.
  • Point E is the origin of the grid, and the distance between point C and point E is e.
  • the distance between the points I and B, that is, the height from the reference plane to the object plane is set as h.
  • a g amplitude, [Phi lattice phase, b g is the background.
  • the light source illuminates the grid, and the shadow of the grid is projected onto the reference plane or the object plane.
  • the luminance distribution when the shadow of the grid is reflected on the camera imaging surface is expressed by the following expression with respect to continuous N pixels corresponding to one period of the grid at the height z of the reference plane and the object plane.
  • n 0, 1,... N.
  • the discrete Fourier transform is performed on the N pieces of data, the frequency 1 is extracted, and the phase is obtained therefrom, the phase ⁇ of the smooth cosine wave can be obtained. Good phase analysis can be performed.
  • phase ⁇ ( ⁇ ⁇ ⁇ ⁇ ) can be calculated using the following formula.
  • phase ⁇ of the grating can be obtained.
  • phase ⁇ R of the shadow of the grid projected on the point R on the reference plane is
  • phase ⁇ S of the shadow of the lattice projected onto the point S on the object is as follows.
  • the phase ⁇ M of the moire fringe is obtained as in the following equation.
  • the height h from the reference plane to the object plane is obtained by measuring the phase of the moire fringes as the phase difference between the reference plane grating and the object plane grating.
  • Fig. 3 shows the overall configuration of the measuring apparatus of Example 1.
  • 1 is a lamp such as an LED, which corresponds to a light source.
  • 2 is a grid
  • 3 is an object to be measured
  • 4 is a mounting table
  • 5 is a digital camera
  • 6 is an image sensor
  • 7 is a lens
  • 8 is a computer
  • 9 is an output device. If only the measurement result is obtained, the result may be stored in the computer 8 or the like, so that the output device 9 is not necessary.
  • a projector such as a commercially available liquid crystal projector may be used as the lamp 1 and the grid 2 .
  • the lattice 2 is formed by displaying the lattice with a liquid crystal display element or the like. When a projector is used, the width and direction of the lattice can be freely changed.
  • the object 3 When the object 3 is irradiated with the lamp 1, the shadow of the lattice 2 is projected on the object surface, and a shadow image is reflected on the image sensor 6 of the digital camera 5 through the lens 7.
  • the reflected image is sent from the digital camera 5 to the computer 8.
  • the image In the computer 8, the image is analyzed by a stored program for realizing the method of the present invention, and a measured value is obtained.
  • the obtained measurement values are stored in the computer 8 and, if necessary, processed into an output image or the like, sent to the output device 9 and output.
  • the output device is a display device or a printing device.
  • the reference surface may be the surface of the mounting table 4, and an object having the reference surface may be mounted on the mounting table 4. Since measurement is possible if there is a reference plane and an object plane, an object having an object plane may be placed instead of the reference plane. It is also possible to measure the object surface shape in the horizontal direction with the lamp 1, the grid 2, the object 3, the mounting table 4, and the digital camera 5 in the horizontal state, and to measure in the oblique direction. Is also possible.
  • FIG. 4 is an enlarged explanatory view of a part of the image photographed in this way.
  • the hatched portion indicates a portion where the luminance of the lattice is low, and the other portion indicates a portion where the luminance of the lattice is high.
  • the direction perpendicular to the grid line is defined as the x direction, and the direction perpendicular thereto is defined as the y direction.
  • the coordinates of the pixel on the camera imaging surface be (i, j). Then, the i direction and the j direction are photographed in accordance with the x direction and the y direction, respectively.
  • This image is processed as follows.
  • (1) One-dimensional Fourier transform is performed on image data (FIG. 5A) of consecutive N pixels.
  • phase connection can be easily made by increasing or decreasing 2 ⁇ every time a phase jump occurs.
  • the moiré fringe phase ⁇ M which is the phase difference between the phase of the object and the phase of the reference plane grating, is obtained for each pixel. From this, the height h can be obtained using Equation 17.
  • phase of frequency 1 or the like is obtained after Fourier transform, it is possible to perform measurement resistant to noise without projecting a grating having an accurate luminance distribution of cosine waves.
  • Example 1 the height and shape of the object plane were measured, but the object plane originally had a grid on the object plane without using a projection grid, a film on which the grid was drawn, or the like. For example, by using a grid, it is possible to measure the displacement of the object plane in the horizontal direction by photographing the grid of the object plane.
  • an image is obtained by photographing the lattice of the object plane with a camera before and after displacement.
  • the image is Fourier-transformed, and the phase of frequency 1 is phase-connected to store the phase corresponding to each pixel.
  • the distance displaced in the horizontal direction is obtained by the product of the phase difference before and after the displacement and the grating period.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　物体面の格子像をカメラにより撮影した撮影像の特定周波数成分の位相を求め、当該位相から物体面の位置を求める。これにより正確な余弦波の輝度分布をもつ格子を投影することなく、ノイズに強い計測を行うことができる。また、処理が簡単で運動する物体面に用いることができ、計測に用いる画素数がサンプリングモアレ法よりも少ない。

Description

計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
　本発明は、大型構造物や工業製品、シート状構造物、人体や動植物、自然の造形物等の三次元の表面形状を有する測定対象物の表面の三次元形状計測を非接触かつ高速・高精度で行うことが可能な三次元形状計測装置に関する。また、非接触の振動面位置計測や変位分布計測に用いることもできる。
　計測対象物に格子パターンを投影し、計測対象物に投影された格子パターンを撮像して得られた格子パターン像の画素毎の位相を求めることにより三次元形状計測を行う格子投影法が公知である。
　図６に一次元格子投影法による形状計測装置の光学系の例を示す。
　基準面に対して、カメラレンズの中心とプロジェクタの光源の高さが同じであり、カメラ撮像面および格子の面は基準面に平行であるモアレトポグラフィの光学系である。モアレトポグラフィでは図６のＷの位置には白い線が、Ｂの位置には黒い線が等高線として撮影できる。
　格子投影法では格子の位相を解析することにより高精度でその変形を解析でき、面外変形や三次元形状を高精度に計測することができる。従来の位相解析法としては、位相シフト法やフーリエ変換法が用いられている。
新井泰彦，倉田忠雄，縞走査干渉計の手法による高速かつ高精度なモアレトポグラフィ法，光学，Vol.15，No.5，402-406 (1986). 森本吉春，藤垣元治，米山聡: モアレ法・格子法による形状・変形計測の最近の研究，非破壊検査，52-3(2003)，116-121. 李志遠，森本吉春，藤垣元治，サンプリングモアレ法による構造物の非接触変位分布計測.日本工業出版　検査技術，14(5)，(2009)，1-6 Takeda, M. and Mutoh, K., Fourier transform profilometry for the automatic measurement of 3-D object shapes, Applied Optics, 22-24, 3977-3982(1983). Morimoto, Y., Seguchi, Y. and Higashi, T., Two-dimensional Moire Method and Grid Method Using Fourier Transform, Experimental Mechanics,  Vol. 29, No. 4, 399-404(1989). 藤垣元治，森本吉春，全空間テーブル化手法による格子投影三次元形状計測，実験力学，8-4, 92-98(2008).
　格子投影法やモアレ法では、格子の位相を解析することによって高精度で対象の変形を解析することができ、面内変形や三次元形状の高精度の計測が可能である（非特許文献１，２）。従来の位相解析法としては、位相シフト法やフーリエ変換法が用いられている。これらの中で、サンプリングモアレ法（非特許文献３）やフーリエ変換法（非特許文献４，５）は１枚の画像で位相を解析できるため、運動物体などの解析に有用である。
　運動物体をリアルタイムに計測するには計算を高速に行う必要があり、できるだけ少ない画像データで位相計算をするほうが良い。しかしながら、サンプリングモアレ法は２周期のデータを用いて位相計算を行ない、またフーリエ変換法は全画素のデータを用いて位相の解析を行っており、少ない画像データにより動画像での計測をすることができなかった。
　本発明は、格子１周期分の画像データをフーリエ変換などにより位相を解析する新しい格子投影法である。これにより１枚の画像から位相分布を高速に解析することができ、動画像の解析も可能となる。
　本発明の特徴を以下に示す。
（１）位相解析による計測であるため精度が良い。
（２）１枚の画像で位相解析できるので、運動する物体の形状計測が可能である。
（３）フーリエ変換により周波数１のみを抽出しているので、正確な余弦波の輝度分布をもつ格子を投影しなくても良い。
（４）また、フーリエ変換により周波数１のみを抽出しているので、高周波部分に現れるノイズは自動的に削除されるためノイズに強い。
（５）処理が簡単で、高速に処理ができる。
（６）ゲージ長がＮ画素となり、サンプリングモアレ法よりも短い。一般的に、デジタル画像相関法よりもゲージ長が短い。
（７）サンプリングモアレ法では直線補間によりモアレ縞を生成しているが、本発明は余弦波と相関をとっていることになるため、精度がより高い。
図１はモアレトポグラフィの光学系の説明図である。 図２Ａはカメラ撮像面の１画素が見る物体の位相と基準面の位相の関係の説明図である。 図２Ｂはカメラ撮像面の１画素が見る物体の位相と基準面の位相の関係の説明図である。 図３は実施例１の装置全体の構成である。 図４はカメラ撮像面に映る格子の影像である。 図５Ａは格子の処理手順である。 図５Ｃは格子の処理手順である。 図５Ｃは格子の処理手順である。 図６は格子投影法の光学系（モアレトポグラフィ）である。
　本発明は物体面の格子をカメラにより撮影して解析し、計測する方法である。物体面の高さを計測して物体面形状を計測するだけでなく、物体面に設けた格子模様をカメラによって撮影することにより、物体面の横方向への変位を計測することもできる。
　まず、測定原理を説明する。
＜光学系と座標＞
　図１，２に形状計測装置の格子投影機構と計測対象物の説明用概略図を示す。
　まず、図１でモアレトポグラフィの光学系についてさらに説明する。
　Ｌは光源の位置、Ｖはカメラレンズの中心を表す。格子は光源の位置Ｌからｄの距離にあり、１周期の幅はｐである。
　この光学系では、基準面に対して、カメラレンズの中心Ｖとプロジェクタの光源Ｌの高さが同じであり、カメラ撮像面および格子面は基準面に平行である。
　光源Ｌから距離ｚ１離れた位置に物体面が、距離ｚ２離れた位置に基準面があり、光源Ｌからｄ離れた位置には格子面がある。格子面は基準面に平行であり、周期がｐである等間隔の一次元格子線が描かれている。光源には点光源を用いるが、格子線に平行な１ライン線光源を用いてもよい。
　光源Ｌを含み基準面に平行な面を光源面と呼ぶ。説明のために光源を原点としてｘ，ｙ，ｚ座標をとり、基準面に垂直な方向をｚ方向とする。図１では下方がｚ方向の正になっている。
　格子の面に描いた格子線に垂直な方向がｘ方向、格子線に平行な方向がｙ方向である。カメラレンズの中心は光源面内にあり、ｘ方向に距離ｖだけ光源Ｌから離れている。カメラ撮像面は基準面と格子面に平行であり、カメラ撮像面の画素座標（ｉ，ｊ）のｉ方向，ｊ方向は各々ｘ方向とｙ方向と一致している。
　この光学系では、物体面や基準面がどの高さにあってもカメラ撮像面での格子１周期の像は同じ幅になる。したがって、デジタルカメラ撮像面のＮ画素に格子の１周期が映るように設定すると、物体面や基準面がどの高さでも格子の１周期の像がＮ画素に映ることになる。このことを図１で説明すると以下の通りになる。
　投影された格子１周期の影は、物体面ではｘ１に、基準面ではｘ２になる。光源面からの距離は、物体面ではｚ１、基準面ではｚ２、カメラ撮像面ではｚ３、格子面ではｄである。　
　格子の１周期ｐの影は、物体面ではｐをｚ１／ｄ倍したｘ１となり、基準面ではｐをｚ２／ｄ倍したｘ２となる。カメラ撮像面での大きさｘ４はｘ１をｚ３／ｚ１倍したものであり、ｘ５はｘ２をｚ３／ｚ２倍した大きさであるから、ｘ４とｘ５はともにｐのｚ３／ｄ倍になる。すなわち、カメラ撮像面に映る格子の１周期の大きさは光源面から格子までの距離と、カメラレンズの中心からカメラ撮像面までの距離の比によって定まり、物体面や基準面までの距離には影響されない。
　このことから、カメラ撮像面に映る格子の本数とカメラ撮像面の画素数は常に比例しており、格子１周期の像を捉えるカメラのセンサー画素数は計測対象物体の高さによらず一定となる。すなわち、格子１周期をＮ画素に映るように設定すると、連続するＮ画素には常に格子１周期分が映っていることになる。
　一方で、図１においてｘ４とｘ５の位置がずれていることから判るように、物体面や基準面までの距離が変化すると格子がカメラ撮像面に映る位置は変化する。換言すると、基準面から物体面までの高さにより、カメラ撮像面の画素に映る格子の位相が変わることになる。
　以上のことから、位相解析を行えばその高さを求めることができる。すなわち、Ｎ画素をフーリエ変換し、最大のパワースペクトルをもつ周波数１を抽出し、その周波数１の位相を求めれば、物体面等の高さを計測できることになる。また、実際の測定に際しては、光学系に応じて、前記周波数を予め設定しておき、その予め設定した周波数の位相を求めることにより、物体面等の高さを計測することもできる。
　なお、上記したように、基準面に投影された格子の１周期がデジタルカメラのＮ画素となるようにレンズの拡大率を調整しておくことが好ましい。
　次に、図２を用いて基準面から物体面までの高さを求める方法を説明する。
　図２Ａは図２Ｂの上部を拡大したものである。
　まず、カメラレンズの中心Ｖをｘ軸上の座標（ｖ，０，０）の位置に置く。すなわちカメラレンズの中心Ｖは距離ｖだけ光源Ｌから離れている。基準面の点Ｒが映るカメラ撮像面の画素には、物体を置いた際に物体面の点Ｓが映る。図２では、この画素および点Ｓ、点Ｒを通る線を、カメラ視線として示す。物体面における点Ｓをｚ軸に垂直に投影した点を点Ｂ、基準面における点Ｒをｚ軸に垂直に投影した点を点Ｉとする。また、光源の位置Ｌから点Ｒへの光が格子面を通過する点を点Ｑとし、光源の位置Ｌから点Ｒへの光が物体面の点Ｓからｚ軸に垂直に投影した線をその光が横切る点を点Ｐとする。さらに、光源の位置Ｌから点Ｓへの光が格子面を通過する点を点Ｇとする。ｚ軸と格子面の交点を点Ｃとする。点Ｅは格子の原点であり、点Ｃと点Ｅの距離をｅとする。そして、点Ｉと点Ｂの距離、すなわち基準面から物体面までの高さをｈとする。
＜投影格子の位相＞
　いま、ｚ＝ｄにある格子の透過率分布Ｉｇは余弦波状になっており、次の式で示される。
Figure JPOXMLDOC01-appb-M000001
　ここで、ａｇは振幅、Φは格子の位相、ｂｇは背景である。光源が格子を照射して、格子の影が基準面または物体面に投影される。その格子の影がカメラ撮像面に映る際の輝度分布は、格子１周期に相当する連続したＮ画素に対して、基準面や物体面等の高さｚにおいて、次の式で表される。
Figure JPOXMLDOC01-appb-M000002
 ここで　ｎ＝０，１，・・・Ｎ　である。
　数式２において、
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 と置き直すと、 
Figure JPOXMLDOC01-appb-M000006
 となる。
　物体面の場所Ｓ（ｘ，ｙ，ｚ）からｘ方向の格子の影の１周期は、カメラ撮像面の連続するＮ画素に映るように、カメラレンズにより調整されている。
　そこで、このＮ個のデータに対して離散的フーリエ変換を行ない、その周波数１を抽出し、それより位相を求めると、滑らかな余弦波状の波の位相θを得ることができ、非常に精度の良い位相解析を行うことができる。
　この位相θ（－π＜θ≦π）は、次の式を用いて計算できる。
Figure JPOXMLDOC01-appb-M000007
　ｘ方向の全画素について上記の位相θを求めてｘ方向に位相接続すると、格子の位相Θを得ることができる。
　＜等高線を表すモアレ縞の位相＞
　モアレトポグラフィにおいては、等高線を表すモアレ縞の位相ΘＭは、基準面に投影された格子の位相ΘＲと物体の上に投影された格子の位相Θの差ΘＭ＝Θ－ΘＲとして求められる。これよりｚが求められ、あるいは基準面からの高さｈ＝ｚR－zが求められる。
　この計算式は次のように求められる。
　基準面上の点Ｒに投影された格子の影の位相ΘＲは
Figure JPOXMLDOC01-appb-M000008
 となる。
　ここで、△ＬＩＲと△ＬＣＱとの相似より
Figure JPOXMLDOC01-appb-M000009
 となり、数式９を数式８に代入すると
Figure JPOXMLDOC01-appb-M000010
 となる。
　同様に△ＬＢＳと△ＬＣＧとの相似を用いると、物体上の点Ｓに投影された格子の影の位相ΘＳは以下のようになる。
Figure JPOXMLDOC01-appb-M000011
　数式１０の点Ｒの位相と数式１１の点Ｓの位相の差として、次の式のようにモアレ縞の位相ΘＭが得られる。 
Figure JPOXMLDOC01-appb-M000012
　一方、二つの三角形△ＬＰＳおよび△ＬＱＧの相似より
Figure JPOXMLDOC01-appb-M000013
　また、△ＲＬＶおよび△ＲＰＳの相似より
　これらから
Figure JPOXMLDOC01-appb-M000015
　これより
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
　このように、基準面の格子と物体面の格子の位相差としてモアレ縞の位相を計測することにより、基準面から物体面までの高さｈが求められる。
　次に、いくつかの実施例を示す。
　まず、物体面の高さを求めることにより物体面形状を計測する方法を説明する。
　図３に実施例１の計測装置全体の構成を示す。
　１はＬＥＤ等のランプであり、光源に相当する。２は格子、３は計測対象の物体、４は載置台、５はデジタルカメラ、６は撮像素子、７はレンズ、８はコンピュータ、９は出力装置である。計測結果を得るだけであればコンピュータ８などに結果を記憶すればよいので、出力装置９はなくてもよい。また、ランプ１と格子２としては、市販の液晶プロジェクタなどのプロジェクタを用いてもよい。この場合、液晶表示素子等で格子を表示して格子２を形成する。プロジェクタを用いると、格子の幅や方向を自在に変更することができる。
　物体３をランプ１で照射すると、物体面に格子２の影が投影され、レンズ７を介してデジタルカメラ５の撮像素子６に影の像が映る。映った像はデジタルカメラ５からコンピュータ８に送られる。そして、コンピュータ８では、記憶されている本発明の方法を実現するプログラムにより前記像が解析されて計測値が得られる。得られた計測値はコンピュータ８に記憶されるとともに、必要であれば出力画像などに加工され、出力装置９に送られて出力される。出力装置は具体的には表示装置や印刷装置などである。
　基準面を載置台４の表面としても良く、載置台４の上に基準面を有する物体を載置しても良い。基準面と物体面があれば計測できるので、基準面の代わりに物体面を有した物体を置いても良い。また、ランプ１、格子２、物体３、載置台４、デジタルカメラ５を含んだ全体を横にした状態とし、横方向で物体面形状を計測することも可能であり、斜め方向で計測することも可能である。
　＜位相解析手順＞
　基準面に一次元格子を投影する。これをデジタルカメラで撮影する。図４はこのようにして撮影した画像の一部の拡大説明図である。この例の場合、格子の１周期をカメラ撮像面のＮ画素（ここではＮ＝８）となるように倍率を調節している。カメラ撮像面の画素が黒い長方形で表現されている。この図の斜線で示される部分は格子の輝度の低い部分を示し、その他の部分は格子の輝度の高い部分を示している。格子線に直角な方向をｘ方向、それに垂直な方向をｙ方向とする。カメラ撮像面における画素の座標を（ｉ，ｊ）とする。そして、ｉ方向、ｊ方向をそれぞれｘ方向およびｙ方向に合わせて撮影する。
　この画像を次のように処理する。
（１）連続するＮ画素の画像データ（図５Ａ）を一次元フーリエ変換する。
（２）これにより－Ｎ／２～Ｎ／２の周波数スペクトル（図５Ｂ）が得られる。この中で最大のパワースペクトルをもつ、Ｎ画素を一周期とする周波数１または周波数－１の成分を抽出する。図５Ｂでは、周波数１だけを取り出している。
（３）その抽出した周波数の位相計算を行えば位相が得られる。そして、そのＮ画素の格子の先頭の画素に対応して記憶する。（図５Ｃ）
（４）次に、Ｎ画素の格子の組み合わせをｘ方向に１画素だけずらして（１）～（３）の位相計算と記憶を繰り返す。
（５）ｘ方向の移動がすべて終わったら（１）～（４）の走査をすべてのｙ方向について行う。
　なお、数式７を用いて位相を直接求める場合は（１）～（３）の手順をまとめて行っていることになる。このようにして得られたほぼ１画面分の位相がこの格子の基準面の位相分布となる。
　物体の格子の位相を解析する場合は、カメラはそのままにして、基準面の代わりに物体を置くなどして同様に（１）～（５）の計算を繰り返す。このようにして得られた位相分布が物体面の位相分布となる。
　次に、得られた物体面の位相および基準面の位相をそれぞれ位相接続する。格子投影法の場合、格子の位相は基本的に単調関数となる。そのため、位相のジャンプが起こる毎に２πを増加あるいは減少させることにより容易に位相接続ができる。
　位相接続の後に、各画素に物体の位相と基準面の格子の位相との位相差であるモアレ縞の位相ΘＭを求める。これより数式１７を用いて高さｈを求めることができる。
　ここでは、フーリエ変換してから周波数１等の位相を得ているため、正確な余弦波の輝度分布をもつ格子を投影することなく、ノイズに強い計測を行うことができる。
　実施例１では物体面の高さおよび形状を計測したが、投影用の格子を用いずに物体面に格子を描いたり、格子を描いたフィルムを貼着したり、物体面がもともと有している格子を用いること等により、物体面の格子を撮影して物体面の水平方向への変位を計測することができる。
　具体的には、実施例１と同様に変位の前後で物体面の格子をカメラで撮影して像を得る。その像をフーリエ変換してから周波数１の位相を位相接続して、各画素に対応して位相を記憶する。変位の前後における位相差と格子周期の積により水平方向に変位した距離が得られる。
　１　ランプ
　２　格子
　３　物体
　４　載置台
　５　デジタルカメラ
　６　撮像素子
　７　レンズ
　８　コンピュータ
　９　出力装置
　Ｌ　光源の位置
　Ｖ　カメラレンズの中心
　Ｒ　基準面の点
　Ｓ　物体面の点
　Ｃ　ｚ軸と格子面の交点
　Ｅ　格子の原点
　Ｑ　光源から点Ｒへの光が格子面を通過する点
　Ｇ　光源から点Ｓへの光が格子面を通過する点
　Ｂ　物体面における点Ｓをｚ軸に垂直に投影した点
　Ｐ　光源から点Ｒへの光が、物体面の点Ｓからｚ軸に垂直に投影した線を横切る点
　Ｉ　基準面における点Ｒをｚ軸に垂直に投影した点

Claims (7)

  1. 　物体面の格子像をカメラにより撮影した撮影像により、物体面の位置を計測する計測方法であって、
    　前記格子像の格子の１周期がＮ画素、ただしＮは２より大きい整数、に合わせられた状態で、前記カメラにより撮影した撮影像を入力する工程と、
    　入力した前記撮影像の連続する複数画素を抽出する工程と、
    　抽出した前記連続する複数画素の画像からＮ画素を１周期とする周波数成分の位相を求める工程と、
    　　前記位相により物体面の位置を求める工程と、
    　を有する計測方法。
  2. 　前記請求項１の計測方法において、
    　基準面の位相を求める工程と、
    　前記基準面における位相と物体面における位相とを位相接続することにより前記物体面の形状を求める工程と、
    　を有する計測方法。
  3. 　前記請求項２の計測方法において、前記物体面の位置は高さであって、前記格子像は、光源からの光を、格子を介して物体面に投影したものであり、前記物体面の高さを求めることにより物体面の形状を得る計測方法。
  4. 　前記請求項３の計測方法において、
    　前記基準面に対して、前記カメラのレンズの中心と前記光源を同じ高さであり、前記物体面、および前記格子の格子面は、前記基準面に平行である状態で前記カメラにより撮影を行う、
    　計測方法。
  5. 　前記請求項１乃至４のいずれかの計測方法を行う計測装置。
  6. 　コンピュータに、
    　物体面における一次元格子の像を撮影したカメラ画像を入力するステップと、
    　前記像の１周期に相当するＮ画素の画像データの位相を得るステップと、
    　前記位相から物体面の位置を計算するステップと、
    を実行させるための計測プログラム。
  7. 　前記請求項６に記載の計測プログラムを記録した、コンピュータ読み取り可能な記録媒体。
PCT/JP2014/067419 2014-06-30 2014-06-30 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体 WO2016001985A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/906,987 US10267626B2 (en) 2014-06-30 2014-06-30 Measurement method, measurement apparatus, measurement program and computer readable recording medium in which measurement program has been recorded
CN201480039901.XA CN105579809B (zh) 2014-06-30 2014-06-30 测量方法、测量装置以及计算机可读记录介质
EP14896657.5A EP3012576B1 (en) 2014-06-30 2014-06-30 Method for measuring a contour of an object
PCT/JP2014/067419 WO2016001985A1 (ja) 2014-06-30 2014-06-30 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
JP2015535637A JP6590339B2 (ja) 2014-06-30 2014-06-30 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/067419 WO2016001985A1 (ja) 2014-06-30 2014-06-30 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2016001985A1 true WO2016001985A1 (ja) 2016-01-07

Family

ID=55018587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/067419 WO2016001985A1 (ja) 2014-06-30 2014-06-30 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体

Country Status (5)

Country Link
US (1) US10267626B2 (ja)
EP (1) EP3012576B1 (ja)
JP (1) JP6590339B2 (ja)
CN (1) CN105579809B (ja)
WO (1) WO2016001985A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175341A1 (ja) * 2016-04-06 2017-10-12 ４Ｄセンサー株式会社 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
US11610324B2 (en) 2020-09-10 2023-03-21 Seiko Epson Corporation Three-dimensional shape measuring method and three-dimensional shape measuring device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10145670B2 (en) * 2016-01-12 2018-12-04 The Boeing Company Systems and methods for projected grid-based location tracking
JP6306230B1 (ja) * 2017-02-09 2018-04-04 Ckd株式会社 半田印刷検査装置、半田印刷検査方法、及び、基板の製造方法
CN107560709B (zh) * 2017-08-11 2019-10-18 维沃移动通信有限公司 一种振幅测量方法及测量设备
TWI720602B (zh) * 2019-08-27 2021-03-01 國立中央大學 重建物體表面的方法與光學系統
CN111043989B (zh) * 2019-12-16 2021-12-03 电子科技大学 一种基于液晶底片的正弦条纹场投射模块
JP2022049269A (ja) 2020-09-16 2022-03-29 セイコーエプソン株式会社 三次元形状計測方法および三次元形状計測装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07260451A (ja) * 1994-03-18 1995-10-13 Shiseido Co Ltd ３次元形状測定システム
JP2006064590A (ja) * 2004-08-27 2006-03-09 Wakayama Univ ラインセンサ及びライン状プロジェクタによる形状計測方法と装置
JP2008281491A (ja) * 2007-05-11 2008-11-20 Wakayama Univ 多数の基準面を用いた形状計測方法および形状計測装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668631A (en) 1993-12-20 1997-09-16 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
US6392411B1 (en) * 2000-01-03 2002-05-21 Ge Yokogawa Medical Systems, Limited MR imaging method, phase shift measuring method and MR imaging system
EP1215465A1 (de) 2000-11-29 2002-06-19 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Erfassung der Verformung von Objekten
US6940608B2 (en) 2001-03-08 2005-09-06 Ricoh Company, Ltd. Method and apparatus for surface configuration measurement
US7286246B2 (en) 2003-03-31 2007-10-23 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
JP4775540B2 (ja) * 2005-05-23 2011-09-21 日立造船株式会社 撮影画像における歪曲収差補正方法
JP2008046037A (ja) 2006-08-18 2008-02-28 Osaka Prefecture 光学的角度・変位測定方法及び測定装置
WO2008033329A2 (en) 2006-09-15 2008-03-20 Sciammarella Cesar A System and method for analyzing displacements and contouring of surfaces
JP4831703B2 (ja) 2008-04-23 2011-12-07 国立大学法人 和歌山大学 物体の変位測定方法
DE102010029319B4 (de) 2009-05-27 2015-07-02 Koh Young Technology Inc. Vorrichtung zur Messung einer dreidimensionalen Form und Verfahren dazu
JP5610514B2 (ja) 2010-02-25 2014-10-22 国立大学法人 和歌山大学 変位計測装置、方法およびプログラム
US9389068B2 (en) 2012-03-14 2016-07-12 National Institute Of Advanced Industrial Science And Technology Method and device for analysing phase distribution of fringe image using high-dimensional intensity information, and program for the same
JP6120459B2 (ja) 2013-07-18 2017-04-26 国立研究開発法人産業技術総合研究所 規則性模様による変位分布のための測定方法、装置およびそのプログラム
JP5957575B1 (ja) 2015-06-12 2016-07-27 Ckd株式会社 三次元計測装置
CN209220327U (zh) * 2018-03-29 2019-08-09 东南大学 一种便携式模数全深度频移搜索型经颅多普勒检测装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07260451A (ja) * 1994-03-18 1995-10-13 Shiseido Co Ltd ３次元形状測定システム
JP2006064590A (ja) * 2004-08-27 2006-03-09 Wakayama Univ ラインセンサ及びライン状プロジェクタによる形状計測方法と装置
JP2008281491A (ja) * 2007-05-11 2008-11-20 Wakayama Univ 多数の基準面を用いた形状計測方法および形状計測装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
MORIMOTO, Y; SEGUCHI, Y.; HIGASHI, T.: "Two-Dimensional Moire Method and Grid Method Using Fourier Transform", EXPERIMENTAL MECHANICS, vol. 29, no. 4, 1989, pages 399 - 404
MOTOHARU FUJIGAKI; YOSHIHARU MORIMOTO, SHAPE MEASUREMENT WITH PROJECTION USING WHOLE-SPACE TABULATION METHOD, vol. 8, no. 4, 2008, pages 92 - 98
RI, S.; MORIMOTO, Y.; FUJIGAKI, M.: "Inspection Technology", vol. 14, 2009, JAPAN INDUSTRIAL PUBLISHING CO., LTD., article "Non-Contact Measurement of the Displacement Distribution of a Structure in Accordance with a Sampling Moire Method", pages: 1 - 6
See also references of EP3012576A4
TAKEDA, M.; MUTOH, K.: "Fourier Transform Profilometry for the Automatic Measurement of 3-D Object Shapes", APPLIED OPTICS, vol. 22-24, 1983, pages 3977 - 3982
YASUHIKO ARAI; TADAO KURATA: "High Speed-and High Resolutive-Moire Topography by the Method of fringe Scanning Interferometry", KOGAKU (IN JAPANESE, vol. 15, no. 5, 1986, pages 402 - 406
YOSHIHARU MORIMOTO; MOTOHARU FUJIGAKI; SATORU YONEYAMA: "Recent Studies on Shape and Deformation Measurements by Moire Method and Grid Method", JOURNAL OF JSNDI(IN JAPANESE, vol. 52-3, 2003, pages 116 - 121

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175341A1 (ja) * 2016-04-06 2017-10-12 ４Ｄセンサー株式会社 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
US11610324B2 (en) 2020-09-10 2023-03-21 Seiko Epson Corporation Three-dimensional shape measuring method and three-dimensional shape measuring device

Also Published As

Publication number Publication date
CN105579809B (zh) 2020-04-07
EP3012576A1 (en) 2016-04-27
EP3012576A4 (en) 2017-03-08
CN105579809A (zh) 2016-05-11
US20180128602A1 (en) 2018-05-10
JP6590339B2 (ja) 2019-10-16
JPWO2016001985A1 (ja) 2017-04-27
US10267626B2 (en) 2019-04-23
EP3012576B1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
JP6590339B2 (ja) 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
WO2017175341A1 (ja) 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
JP5818218B2 (ja) 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム
TWI512263B (zh) 形狀測量裝置以及形狀測量方法
US9441959B2 (en) Calibration method and shape measuring apparatus
JP2011064482A (ja) 高速三次元計測装置及び高速三次元計測方法
Morimoto et al. High-speed 3D shape measurement by one pitch phase analysis method using brightness values in small square area of single-shot image
JP3629532B2 (ja) 連続移動物体のリアルタイム形状計測方法及びシステム
JP6533914B2 (ja) 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
Shimo et al. Development of dynamic shape and strain measurement system by sampling moire method
Jin et al. The online measurement of optical distortion for glass defect based on the grating projection method
JP6923915B2 (ja) カラー物体の３次元形状とカラー情報とを同時に取得可能な計測方法、計測装置、計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
Kayaba et al. Non-contact full field vibration measurement based on phase-shifting
Morimoto et al. Shape and strain measurement of rotating tire by sampling moiré method
JP6884393B2 (ja) 射影変換を用いて変形格子を長方形格子や正方形格子に変換して位相解析を行なう方法および装置
JP4210236B2 (ja) 光学的形状測定方法
Dowling Three Dimensional Digital Image Correlation for Dynamic Measurements
Chiappini et al. Comparison of contouring techniques applied to sheet metal testing
JP6482119B2 (ja) 三次元計測法
JP2020085618A (ja) 物体内部の光学特性を計測する計測装置及び方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480039901.X

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2015535637

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014896657

Country of ref document: EP

Ref document number: 14906987

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14896657

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE