KR20210057698A - Three-dimensional measurement device and three-dimensional measurement method - Google Patents

Three-dimensional measurement device and three-dimensional measurement method Download PDF

Info

Publication number
KR20210057698A
KR20210057698A KR1020200151162A KR20200151162A KR20210057698A KR 20210057698 A KR20210057698 A KR 20210057698A KR 1020200151162 A KR1020200151162 A KR 1020200151162A KR 20200151162 A KR20200151162 A KR 20200151162A KR 20210057698 A KR20210057698 A KR 20210057698A
Authority
KR
South Korea
Prior art keywords
imaging
image data
pattern
dimensional shape
imaging device
Prior art date
Application number
KR1020200151162A
Other languages
Korean (ko)
Inventor
다이스케 센가
Original Assignee
쥬키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쥬키 가부시키가이샤 filed Critical 쥬키 가부시키가이샤
Publication of KR20210057698A publication Critical patent/KR20210057698A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention is to shorten a time to obtain information on a three-dimensional shape of an object. A three-dimensional measurement device comprises: a projection device for irradiating pattern light onto an object; a plurality of imaging devices arranged to image the entire area of the object irradiated with the pattern light, each of which images a partial area of the object; and a control device calculating a three-dimensional shape of the partial area of the object corresponding to a plurality of image data while acquiring image data of the partial area of the object from each of the plurality of imaging devices, and specifying an overall shape of the object by synthesizing the plurality of calculated three-dimensional shapes of partial areas of the object.

Description

3차원 계측 장치 및 3차원 계측 방법{THREE-DIMENSIONAL MEASUREMENT DEVICE AND THREE-DIMENSIONAL MEASUREMENT METHOD}3D measurement device and 3D measurement method {THREE-DIMENSIONAL MEASUREMENT DEVICE AND THREE-DIMENSIONAL MEASUREMENT METHOD}

[0001] 본 개시(開示)는, 3차원 계측 장치 및 3차원 계측 방법에 관한 것이다.The present disclosure relates to a three-dimensional measuring device and a three-dimensional measuring method.

[0002] 특허문헌 1에 개시되어 있는 바와 같이, 복수의 방향으로부터 물체에 패턴 광(光)을 조사(照射)하여, 물체의 3차원 형상을 계측하는 기술이 알려져 있다.[0002] As disclosed in Patent Document 1, a technique for measuring a three-dimensional shape of an object by irradiating pattern light onto an object from a plurality of directions is known.

일본 특허공개공보 제2003-202296호Japanese Patent Laid-Open Publication No. 2003-202296

[0004] 물체는, 촬상(撮像) 장치에 의해 촬상된다. 촬상 장치는, 패턴 광을 조사하는 조사 장치와 함께 헤드에 배치되어, 물체 상(上)을 주사(走査)하면서 물체를 촬상한다. 이 때문에, 촬상 장치가 물체의 전체를 촬상하기까지 오랜 시간이 걸리게 될 가능성이 있다.[0004] An object is imaged by an imaging device. The imaging device is disposed on the head together with the irradiation device for irradiating patterned light, and photographs an object while scanning the image of the object. For this reason, there is a possibility that it takes a long time for the imaging device to image the entire object.

[0005] 본 개시는, 물체의 3차원 형상의 정보를 얻기까지의 시간을 단축하는 것을 목적으로 한다.An object of the present disclosure is to shorten the time required to obtain information on a three-dimensional shape of an object.

[0006] 본 개시에 따르면, 물체에 대해 패턴 광을 조사하는 투영 장치와, 상기 패턴 광이 조사된 상기 물체의 전체 영역을 촬상하도록 배치되어, 각각이 상기 물체의 부분적인 영역을 촬상하는 복수의 촬상 장치와, 복수의 상기 촬상 장치의 각각으로부터 상기 물체의 부분적인 영역의 화상 데이터를 취득하는 동시에, 복수의 상기 화상 데이터에 대응하는 상기 물체의 부분적인 영역의 3차원 형상을 산출하고, 산출된 복수의 상기 물체의 부분적인 영역의 3차원 형상을 합성하여 상기 물체의 전체적인 3차원 형상을 특정하는 제어 장치를 구비하는, 3차원 계측 장치가 제공된다.[0006] According to the present disclosure, a projection device for irradiating pattern light onto an object, and a plurality of projection devices arranged to image the entire area of the object irradiated with the pattern light, each of which image a partial area of the object The image data of the partial area of the object is obtained from each of the imaging device and the plurality of imaging devices, and at the same time, a three-dimensional shape of the partial area of the object corresponding to the plurality of image data is calculated, and the calculated A three-dimensional measuring device is provided, comprising a control device for specifying the overall three-dimensional shape of the object by synthesizing the three-dimensional shape of a plurality of partial regions of the object.

[0007] 본 개시에 의하면, 물체의 3차원 형상의 정보를 얻기까지의 시간을 단축하는 것이 가능하다.[0007] According to the present disclosure, it is possible to shorten the time required to obtain information on the three-dimensional shape of an object.

도 1은, 제1 실시형태에 따른 3차원 계측 장치의 일례를 나타낸 모식도이다.
도 2는, 조사 장치의 구성의 일례를 나타낸 도면이다.
도 3은, 촬상 장치의 구성의 일례를 나타낸 도면이다.
도 4는, 제1 실시형태에 따른 3차원 계측 장치의 촬상 장치의 배치의 일례를 나타낸 모식도이다.
도 5는, 제1 실시형태에 따른 3차원 계측 장치의 촬상 장치의 촬상 범위의 일례를 나타낸 도면이다.
도 6은, 제1 실시형태에 따른 3차원 계측 장치의 제어 장치의 구성의 일례를 나타낸 기능 블록도이다.
도 7은, 제1 실시형태에 따른 3차원 계측 방법의 일례를 나타낸 플로 차트이다.
도 8은, 제1 실시형태에 따른 프린지(fringe) 패턴의 일례를 나타낸 도면이다.
도 9는, 제1 실시형태에 따른 패턴이 투영된 물체의 화상 데이터의 일례를 나타낸 도면이다.
도 10은, 제1 실시형태에 따른 화상 데이터의 화소의 휘도의 일례를 나타낸 도면이다.
도 11은, 제1 실시형태에 따른 상대 위상값 및 절대 위상값의 일례를 모식적으로 나타낸 도면이다.
도 12는, 제1 실시형태에 따른 그레이 코드 패턴의 일례를 나타낸 도면이다.
도 13은, 제1 실시형태에 따른 그레이 코드 패턴이 투영된 물체의 화상 데이터의 일례를 나타낸 도면이다.
도 14는, 제1 실시형태에 따른 제1 화상 데이터의 휘도 변화와, 제2 화상 데이터의 휘도 변화와, 복수의 그레이 코드 패턴을 합성함으로써 생성되는 프린지 차수(次數) 코드와, 프린지 차수와의 관계를 나타낸 도면이다.
도 15는, 제2 실시형태에 따른 3차원 계측 장치의 일례를 나타낸 도면이다.
도 16은, 제2 실시형태에 따른 3차원 계측 장치의 촬상 장치의 촬상 범위의 일례를 나타낸 도면이다.
도 17은, 제2 실시형태에 따른 3차원 계측 장치의 제어 장치의 구성의 일례를 나타낸 기능 블록도이다.
도 18은, 제2 실시형태에 따른 3차원 계측 방법의 일례를 나타낸 플로 차트이다.
도 19는, 각 실시형태에 따른 컴퓨터 시스템을 나타낸 블록도이다.1 is a schematic diagram showing an example of a three-dimensional measurement device according to a first embodiment.
2 is a diagram showing an example of a configuration of an irradiation device.
3 is a diagram showing an example of a configuration of an imaging device.
4 is a schematic diagram showing an example of the arrangement of the imaging device of the three-dimensional measuring device according to the first embodiment.
5 is a diagram showing an example of an imaging range of the imaging device of the three-dimensional measuring device according to the first embodiment.
6 is a functional block diagram showing an example of a configuration of a control device for a three-dimensional measurement device according to the first embodiment.
7 is a flowchart showing an example of a three-dimensional measurement method according to the first embodiment.
8 is a diagram showing an example of a fringe pattern according to the first embodiment.
9 is a diagram showing an example of image data of an object on which a pattern according to the first embodiment is projected.
10 is a diagram showing an example of luminance of pixels of image data according to the first embodiment.
11 is a diagram schematically showing an example of a relative phase value and an absolute phase value according to the first embodiment.
12 is a diagram showing an example of a gray code pattern according to the first embodiment.
13 is a diagram showing an example of image data of an object on which a gray code pattern according to the first embodiment is projected.
Fig. 14 shows a relationship between a change in luminance of first image data, a change in luminance of second image data, and a fringe order code generated by synthesizing a plurality of gray code patterns, and a fringe order according to the first embodiment. It is a diagram showing the relationship.
15 is a diagram showing an example of a three-dimensional measurement device according to a second embodiment.
16 is a diagram illustrating an example of an imaging range of an imaging device of a three-dimensional measurement device according to a second embodiment.
17 is a functional block diagram showing an example of a configuration of a control device for a three-dimensional measurement device according to a second embodiment.
18 is a flowchart showing an example of a three-dimensional measurement method according to a second embodiment.
19 is a block diagram showing a computer system according to each embodiment.

[0009] 이하에서는, 본 개시에 따른 실시형태에 대해 도면을 참조하면서 설명하겠지만, 본 개시는 이에 한정되지 않는다. 이하에서 설명하는 실시형태의 구성 요소는, 적절히 조합하는 것이 가능하다. 또한, 일부의 구성 요소를 이용하지 않는 경우도 있다.Hereinafter, an embodiment according to the present disclosure will be described with reference to the drawings, but the present disclosure is not limited thereto. Constituent elements of the embodiment described below can be appropriately combined. In addition, some components may not be used.

[0010] 이하의 설명에 있어서는, XYZ 직교 좌표계를 설정하고, 이 XYZ 직교 좌표계를 참조하면서 각부(各部)의 위치 관계에 대해 설명한다. 소정 면(面)의 X축과 평행한 방향을 X축 방향으로 하고, X축과 직교하는 소정 면의 Y축과 평행한 방향을 Y축 방향으로 하고, 소정 면과 직교하는 Z축과 평행한 방향을 Z축 방향으로 한다. 또한, X축을 중심으로 하는 회전 또는 경사 방향을 θX방향으로 하고, Y축을 중심으로 하는 회전 또는 경사 방향을 θY방향으로 하고, Z축을 중심으로 하는 회전 또는 경사 방향을 θZ방향으로 한다. XY 평면은 소정 면이다.In the following description, the XYZ rectangular coordinate system is set, and the positional relationship of each part is described with reference to the XYZ rectangular coordinate system. The direction parallel to the X-axis of the predetermined surface is the X-axis direction, the direction parallel to the Y-axis of the predetermined surface orthogonal to the X-axis is the Y-axis direction, and parallel to the Z-axis orthogonal to the predetermined surface. The direction is the Z-axis direction. In addition, the rotation or inclination direction about the X axis is set as the θX direction, the rotation or inclination direction about the Y axis is set as the θY direction, and the rotation or inclination direction about the Z axis is set as the θZ direction. The XY plane is a predetermined plane.

[0011] [제1 실시형태][0011] [First Embodiment]

＜3차원 계측 장치＞<3D measuring device>

도 1을 이용하여, 제1 실시형태에 대해 설명한다. 도 1은, 제1 실시형태에 따른 3차원 계측 장치의 일례를 나타낸 모식도이다.A first embodiment will be described with reference to Fig. 1. 1 is a schematic diagram showing an example of a three-dimensional measurement device according to a first embodiment.

[0012] 도 1에 나타낸 바와 같이, 제1 실시형태에 따른 3차원 계측 장치(1)는, 검사 대상물인 물체(S)에 대해 패턴 광(PL)을 조사하는 복수의 투영 장치(3)와, 패턴 광(PL)이 조사된 물체(S)를 촬상하여, 촬상 범위(A)에 있어서의 물체(S)의 부분적인 화상 데이터를 취득하는 복수의 촬상 장치(4)와, 촬상 장치(4)에 의해 취득된 물체(S)의 화상 데이터에 근거하여 물체(S)의 3차원 형상을 산출하는 제어 장치(5)를 구비한다. 복수의 촬상 장치(4)는, 물체(S)의 ＋Z방향측에 있어서, 지지 부재(2)에 의해 지지되어 있다. 제1 실시형태에 있어서, 물체(S)는, 예컨대, 전자 부품(E1), 전자 부품(E2), 및 전자 부품(E3) 등이 탑재된 실장(實裝; mounting) 기판이다. 이 경우, 3차원 계측 장치(1)는, 전자 부품(E1∼E3) 등이 탑재된 실장 기판의 표면의 3차원 형상을 계측한다. 또한, 본 실시형태에 있어서, 물체(S)는, 실장 기판에 한정되지 않는다.As shown in FIG. 1, the three-dimensional measurement device 1 according to the first embodiment includes a plurality of projection devices 3 for irradiating pattern light PL to an object S as an inspection object, and , A plurality of image pickup devices 4 for capturing the object S irradiated with the pattern light PL to obtain partial image data of the object S in the image pickup range A, and the image pickup device 4 A control device 5 is provided for calculating a three-dimensional shape of the object S based on the image data of the object S acquired by ). The plurality of imaging devices 4 are supported by the support member 2 on the +Z direction side of the object S. In the first embodiment, the object S is, for example, a mounting board on which the electronic component E1, the electronic component E2, and the electronic component E3 are mounted. In this case, the three-dimensional measuring device 1 measures the three-dimensional shape of the surface of the mounting substrate on which the electronic components E1 to E3 and the like are mounted. In addition, in this embodiment, the object S is not limited to the mounting board.

[0013] 도 2와 도 3을 이용하여, 투영 장치(3) 및 촬상 장치(4)의 구성에 대해 설명한다. 도 2는, 투영 장치(3)의 구성의 일례를 나타낸 모식도이다. 도 3은, 촬상 장치(4)의 구성의 일례를 나타낸 모식도이다.The configurations of the projection device 3 and the imaging device 4 will be described with reference to FIGS. 2 and 3. 2 is a schematic diagram showing an example of the configuration of the projection device 3. 3 is a schematic diagram showing an example of the configuration of the imaging device 4.

[0014] 투영 장치(3)는, 광을 발생시키는 광원(31)과, 광원(31)으로부터 사출(射出)된 광을 광변조하여 패턴 광(PL)을 생성하는 광변조 소자(32)와, 광변조 소자(32)에서 생성된 패턴 광(PL)을 물체(S)에 투영하는 투영 광학 시스템(33)을 가진다.The projection device 3 includes a light source 31 that generates light, and a light modulation element 32 that modulates light emitted from the light source 31 to generate pattern light PL. , It has a projection optical system 33 that projects the pattern light (PL) generated by the optical modulation element (32) onto the object (S).

[0015] 광변조 소자(32)는, 디지털 미러 디바이스(Digital Mirror Device：DMD)를 포함한다. 또한, 광변조 소자(32)는, 투과형의 액정 패널을 포함해도 되고, 반사형의 액정 패널을 포함해도 된다. 광변조 소자(32)는, 제어 장치(5)로부터 출력되는 패턴 데이터에 근거하여 패턴 광(PL)을 생성한다. 투영 장치(3)는, 패턴 데이터에 근거하여 패턴화된 패턴 광(PL)을 물체(S)에 조사한다.[0015] The optical modulation element 32 includes a digital mirror device (DMD). In addition, the optical modulation element 32 may include a transmissive liquid crystal panel or a reflective liquid crystal panel. The optical modulation element 32 generates pattern light PL based on the pattern data output from the control device 5. The projection apparatus 3 irradiates the object S with the patterned light PL patterned based on the pattern data.

[0016] 촬상 장치(4)는, 물체(S)에서 반사된 패턴 광(PL)을 결상(結像)하는 결상 광학 시스템(41)과, 결상 광학 시스템(41)을 통해 물체(S)의 화상 데이터를 취득하는 촬상 소자(42)를 가진다. 촬상 소자(42)는, CMOS 이미지 센서(Complementary Metal Oxide Semiconductor Image Sensor) 또는 CCD 이미지 센서(Charge Coupled Device Image Sensor)를 포함하는 고체 촬상 소자이다. 촬상 소자(42)는, 입사면(41S)을 통해 입사된 외부로부터의 광을 수광(受光)한다.[0016] The imaging device 4 includes an imaging optical system 41 for imaging the pattern light PL reflected from the object S, and the object S through the imaging optical system 41. It has an imaging device 42 that acquires image data. The imaging device 42 is a solid-state imaging device including a CMOS image sensor (Complementary Metal Oxide Semiconductor Image Sensor) or a CCD image sensor (Charge Coupled Device Image Sensor). The imaging element 42 receives external light incident through the incident surface 41S.

[0017] 촬상 장치(4)는, 비교적 저렴한 카메라 및 렌즈로 구성할 수 있다. 촬상 장치(4)로서, 예컨대, 스마트폰에 탑재되는 등의 범용적(汎用的)인 카메라를 이용해도 된다. 촬상 장치(4)의 렌즈로서, 범용적인 비(非)텔레센트릭 렌즈(non-telecentric lens)를 이용해도 된다.The imaging device 4 can be configured with a relatively inexpensive camera and lens. As the imaging device 4, for example, a general-purpose camera mounted on a smartphone may be used. As the lens of the imaging device 4, a general-purpose non-telecentric lens may be used.

[0018] 도 4를 이용하여, 3차원 계측 장치(1)의 투영 장치(3) 및 촬상 장치(4)의 배치에 대해 설명한다. 도 4는, 3차원 계측 장치(1)의 투영 장치(3) 및 촬상 장치(4)의 배치의 일례를 나타낸 모식도이다.[0018] With reference to FIG. 4, the arrangement of the projection device 3 and the imaging device 4 of the three-dimensional measuring device 1 will be described. 4 is a schematic diagram showing an example of the arrangement of the projection device 3 and the imaging device 4 of the three-dimensional measuring device 1.

[0019] 투영 장치(3)의 위치는, 고정된다. 투영 장치(3)는, 물체(S)의 ＋Z방향측에 배치된다. 투영 장치(3)는, 물체(S)의 표면의 전체 영역에 패턴 광(PL)을 조사할 수 있는 위치에 배치된다. 투영 장치(3)는, 예컨대, 직사각형인 물체(S)의 네 변(邊)의 각각에 대향(對向)되는 위치에 1대씩 총 4대가 배치된다. 투영 장치(3)는, 물체(S)의 표면의 전체 영역에 패턴 광(PL)을 배치할 수 있는 것이라면, 배치하는 장소나, 배치하는 수에 특별히 제한은 없다. 예컨대, 투영 장치(3)는, 물체(S)와 대향되는 위치에 배치되어도 된다. 투영 장치(3)는, 물체(S)의 표면의 전체 영역에 패턴 광(PL)을 배치할 수 있는 것이라면, 1대여도 된다.The position of the projection device 3 is fixed. The projection device 3 is disposed on the +Z direction side of the object S. The projection device 3 is disposed at a position where the pattern light PL can be irradiated to the entire area of the surface of the object S. A total of four projection apparatuses 3 are arranged, one at a time, at positions facing each of the four sides of the rectangular object S, for example. The projection device 3 is not particularly limited in the location or number of arrangements, as long as the pattern light PL can be arranged over the entire area of the surface of the object S. For example, the projection device 3 may be disposed at a position facing the object S. One projection device 3 may be used as long as the pattern light PL can be disposed over the entire area of the surface of the object S.

[0020] 복수의 촬상 장치(4)의 각각의 위치는, 고정된다. 복수의 촬상 장치(4)는, 물체(S)의 ＋Z방향측에 배치된다. 복수의 촬상 장치(4)는, XY 평면 상에 2차원적으로 배치된다. 촬상 장치(4)는, 예컨대, XY 평면 상에서 매트릭스 형상으로 배치된다. 이 경우, 촬상 장치(4)는, 예컨대, X방향으로 N대가 배치되고, Y방향으로 M대가 배치된다. N과 M은, 수∼수십의 정수(整數)지만, 이에 한정되지 않는다. N과 M은 동일해도 되고, 상이해도 된다. 복수의 촬상 장치(4)의 결상 광학 시스템(41)의 입사면(41S)은, 물체(S)와 대향된다. 복수의 촬상 장치(4)의 결상 광학 시스템(41)의 입사면(41S)은, 물체(S)에 대해 기울어져 있어도 된다. 복수의 촬상 장치(4)의 결상 광학 시스템(41)의 입사면(41S)의 물체(S)에 대한 각도는, 각각, 동일해도 되고, 상이해도 된다. 각 촬상 장치(4)의 결상 광학 시스템(41)의 입사면(41S)과, 물체(S)의 표면 간의 거리는, 각각 동일해도 되고, 상이해도 된다. 또한, 복수의 촬상 장치(4)의 배치 방법은 이들에 한정되지 않으며, 물체(S)의 표면의 전체 영역을 촬영할 수 있도록 물체(S)의 ＋Z방향측에 배치되어 있으면 된다.Each position of the plurality of imaging devices 4 is fixed. The plurality of imaging devices 4 are arranged on the +Z direction side of the object S. The plurality of imaging devices 4 are arranged two-dimensionally on the XY plane. The imaging device 4 is arranged in a matrix shape on the XY plane, for example. In this case, the imaging device 4 is arranged with N units in the X direction and M units in the Y direction, for example. N and M are integers of several to several dozen, but are not limited thereto. N and M may be the same or different. The incident surface 41S of the imaging optical system 41 of the plurality of imaging devices 4 faces the object S. The incident surface 41S of the imaging optical system 41 of the plurality of imaging devices 4 may be inclined with respect to the object S. The angles of the incident surface 41S of the imaging optical system 41 of the plurality of imaging devices 4 with respect to the object S may be the same or different, respectively. The distance between the incident surface 41S of the imaging optical system 41 of each imaging device 4 and the surface of the object S may be the same or different, respectively. Incidentally, the arrangement method of the plurality of imaging devices 4 is not limited to these, and may be arranged on the +Z direction side of the object S so that the entire area of the surface of the object S can be captured.

[0021] 복수의 촬상 장치(4)는, 각각, 예컨대 물체(S)가 벨트 컨베이어 등에 의해 운반되어, 각 촬상 장치(4)의 -Z방향측에 위치한 물체(S)를 촬상한다. 복수의 촬상 장치(4)는, 각각, 예컨대 작업자에 의해 각 촬상 장치(4)의 -Z방향측에 배치된 물체(S)를 촬상한다.[0021] Each of the plurality of imaging devices 4, for example, an object S, is conveyed by a belt conveyor or the like, and captures an image of an object S located on the -Z direction side of each imaging device 4. Each of the plurality of imaging devices 4 captures an image of an object S disposed on the -Z direction side of each imaging device 4 by an operator, for example.

[0022] 도 5를 이용하여, 물체(S)에 있어서의 촬상 장치(4)의 촬상 범위에 대해 설명한다. 도 5는 촬상 장치의 촬상 범위를 설명하기 위한 도면이다.The imaging range of the imaging device 4 in the object S will be described with reference to FIG. 5. 5 is a diagram for describing an imaging range of an imaging device.

[0023] 도 5에서는, 촬상 장치(4)는, 물체(S)에 대향하여 매트릭스 형상으로 N×M대가 배치되어 있는 경우의, 각 촬상 장치(4)의 촬상 범위를 나타내고 있다. 촬상 범위(A11)는 1행1열째의 촬상 장치(4)의 촬상 범위이며, 촬상 범위(ANM)는 N행M열째의 촬상 장치(4)의 촬상 범위이다. 도 5에 나타낸 바와 같이, 3차원 계측 장치(1)는, 복수의 촬상 장치(4)를 이용함으로써, 물체(S)의 표면을 빈틈없이 촬상한다. 인접하는 촬상 장치(4) 간의 촬상 범위는, 일부가 중복되어도 된다. 예컨대, 촬상 범위(A11)는, 촬상 범위(A12), 촬상 범위(A21), 및 촬상 범위(A22)와, 일부가 중복되어도 된다.In FIG. 5, the imaging device 4 shows the imaging range of each imaging device 4 in the case where N×M bands are arranged in a matrix shape opposite to the object S. The imaging range A 11 is an imaging range of the imaging device 4 in the first row and the first column, and the imaging range A NM is the imaging range of the imaging device 4 in the N row and M columns. As shown in FIG. 5, the three-dimensional measuring device 1 captures an image of the surface of the object S tightly by using the plurality of imaging devices 4. Some of the imaging ranges between adjacent imaging devices 4 may overlap. For example, the imaging range A 11 may overlap with the imaging range A 12 , the imaging range A 21 , and the imaging range A 22 partially.

[0024] 제어 장치(5)는, 컴퓨터 시스템을 포함하며, 투영 장치(3) 및 촬상 장치(4)를 제어한다. 제어 장치(5)는, CPU(Central Processing Unit)와 같은 프로세서를 포함하는 연산 처리 장치와, ROM(Read Only Memory) 또는 RAM(Random Access Memory)과 같은 메모리 및 스토리지를 포함하는 기억 장치를 가진다. 연산 처리 장치는, 기억 장치에 기억되어 있는 컴퓨터 프로그램에 따라 연산 처리를 실시한다. 또한, 제어 장치(5)는, 예컨대, ASIC(Application Specific Integrated Circuit)나 FPGA(Field Programmable Gate Array) 등의 집적회로에 의해 실현되어도 된다.The control device 5 includes a computer system and controls the projection device 3 and the imaging device 4. The control device 5 has an arithmetic processing device including a processor such as a CPU (Central Processing Unit), and a memory device including a memory and storage such as ROM (Read Only Memory) or RAM (Random Access Memory). The arithmetic processing device performs arithmetic processing according to a computer program stored in the storage device. Further, the control device 5 may be implemented by an integrated circuit such as an Application Specific Integrated Circuit (ASIC) or a Field Programmable Gate Array (FPGA), for example.

[0025] 3차원 계측 장치(1)는, 패턴 투영법에 근거하여, 물체(S)의 3차원 형상을 계측한다. 투영 장치(3)는, 패턴 광(PL)으로서, 예컨대, 사인파 형상의 명도 분포인 프린지 패턴 광을 위상 시프트시키면서 물체(S)에 조사한다. 투영 장치(3)는, 패턴 광(PL)을 다이렉트로 물체(S)에 조사한다. 또한, 투영 장치(3)는, 공간 코드법에 근거하여, 공간 코드 패턴의 일종인 그레이 코드 패턴을 물체(S)에 투영해도 된다.The three-dimensional measuring device 1 measures the three-dimensional shape of the object S based on a pattern projection method. The projection device 3 irradiates the object S as pattern light PL while phase shifting fringe pattern light, which is, for example, a sine wave-shaped brightness distribution. The projection device 3 directly irradiates the object S with the patterned light PL. Further, the projection device 3 may project a gray code pattern, which is a type of spatial code pattern, onto the object S based on the spatial code method.

[0026] 촬상 장치(4)는, 패턴 광(PL)이 조사된 물체(S)의 화상 데이터를 취득한다. 구체적으로는, 촬상 장치(4)는, 자신의 촬상 범위에 대응하는 범위의 물체(S)의 부분적인 화상 데이터를 취득한다.The imaging device 4 acquires image data of the object S irradiated with the pattern light PL. Specifically, the imaging device 4 acquires partial image data of the object S in a range corresponding to its own imaging range.

[0027] ＜제어 장치＞<control device>

도 6을 이용하여, 제1 실시형태에 따른 제어 장치(5)의 구성의 일례에 대해 설명한다. 도 6은, 제1 실시형태에 따른 제어 장치(5)의 구성의 일례를 나타낸 기능 블록도이다.An example of the configuration of the control device 5 according to the first embodiment will be described with reference to FIG. 6. 6 is a functional block diagram showing an example of the configuration of the control device 5 according to the first embodiment.

[0028] 도 6에 나타낸 바와 같이, 제어 장치(5)는, 입출력부(51)와, 패턴 생성부(52)와, 화상 데이터 취득부(53)와, 상대 위상값 산출부(54)와, 프린지 차수 산출부(55)와, 절대 위상값 산출부(56)와, 3차원 형상 산출부(57)와, 3차원 형상 특정부(58)를 구비한다. 본 실시형태에 있어서, 제어 장치(5)는, 복수의 촬상 장치(4)의 각각으로부터 물체(S)의 부분적인 영역의 화상 데이터를 취득한다. 제어 장치(5)는, 복수의 화상 데이터에 대응하는 물체(S)의 부분적인 영역의 3차원 형상을 산출한다. 제어 장치(5)는, 산출된 복수의 물체(S)의 부분적인 영역의 3차원 형상을 합성하여 물체(S)의 전체적인 형상을 특정한다.As shown in FIG. 6, the control device 5 includes an input/output unit 51, a pattern generation unit 52, an image data acquisition unit 53, a relative phase value calculation unit 54, and , A fringe order calculating unit 55, an absolute phase value calculating unit 56, a three-dimensional shape calculating unit 57, and a three-dimensional shape specifying unit 58. In this embodiment, the control device 5 acquires image data of a partial area of the object S from each of the plurality of imaging devices 4. The control device 5 calculates a three-dimensional shape of a partial area of the object S corresponding to a plurality of image data. The control device 5 synthesizes the calculated three-dimensional shape of the partial regions of the plurality of objects S to specify the overall shape of the object S.

[0029] 패턴 생성부(52)는, 패턴 데이터를 생성한다. 패턴 생성부(52)에서 생성된 패턴 데이터는, 입출력부(51)를 통해 광변조 소자(32)로 출력된다. 광변조 소자(32)는, 패턴 생성부(52)에서 생성된 패턴 데이터에 근거하여, 패턴 광을 생성한다. 본 실시형태에 있어서, 패턴 생성부(52)는, 패턴 데이터로서, 프린지 패턴 데이터를 생성한다. 패턴 생성부(52)는, 패턴 데이터로서, 그레이 코드 패턴 데이터를 생성해도 된다. 광변조 소자(32)는, 패턴 생성부(52)에서 생성된 프린지 패턴 데이터에 근거하여, 프린지 패턴 광을 생성한다. 광변조 소자(32)는, 패턴 생성부(52)에서 생성된 그레이 코드 패턴 데이터에 근거하여, 그레이 코드 패턴 광을 생성한다.The pattern generation unit 52 generates pattern data. The pattern data generated by the pattern generation unit 52 is output to the optical modulation device 32 through the input/output unit 51. The optical modulation element 32 generates pattern light based on the pattern data generated by the pattern generation unit 52. In this embodiment, the pattern generation unit 52 generates fringe pattern data as pattern data. The pattern generation unit 52 may generate gray code pattern data as pattern data. The light modulation element 32 generates fringe pattern light based on the fringe pattern data generated by the pattern generation unit 52. The light modulation element 32 generates gray code pattern light based on the gray code pattern data generated by the pattern generation unit 52.

[0030] 화상 데이터 취득부(53)는, 입출력부(51)를 통해, 각 촬상 장치(4)의 촬상 소자(42)로부터 화상 데이터를 취득한다. 화상 데이터 취득부(53)는, 패턴 광이 조사된 물체(S)의 화상 데이터를 취득한다. 구체적으로는, 화상 데이터 취득부(53)는, 각 촬상 장치(4)의 촬상 소자(42)로부터 각각의 촬상 범위에 대응하는 물체(S)의 부분적인 화상 데이터를 복수 취득한다.The image data acquisition unit 53 acquires image data from the imaging element 42 of each imaging device 4 through the input/output unit 51. The image data acquisition unit 53 acquires image data of the object S irradiated with pattern light. Specifically, the image data acquisition unit 53 acquires a plurality of partial image data of the object S corresponding to each imaging range from the imaging element 42 of each imaging device 4.

[0031] 상대 위상값 산출부(54)는, 복수의 화상 데이터(M)의 휘도에 근거하여, 화상 데이터(M)의 복수의 각 화소(p)의 상대 위상값(θp)을 산출한다. 상대 위상값 산출부(54)는, 위상 시프트된 프린지 패턴(PB)의 각각이 투영된 물체(S)의 화상을 나타내는 복수의 화상 데이터(M)의 동일한 점의 휘도에 근거하여, 그 점에 대응하는 화상 데이터(M)의 화소(p)의 상대 위상값(θp)을 산출한다. 상대 위상값 산출부(54)는, 화상 데이터(M)의 복수의 각 점의 휘도에 근거하여, 화상 데이터(M)의 복수의 각 화소(p)의 상대 위상값(θp)을 산출한다. 상대 위상값 산출부(54)는, 각 촬상 장치(4)의 촬상 소자(42)로부터 취득된 화상 데이터에 대해, 상대 위상값을 산출한다.The relative phase value calculation unit 54 calculates a relative phase value θp of each of the plurality of pixels p of the image data M based on the luminance of the plurality of image data M. The relative phase value calculation unit 54 is based on the luminance of the same point of a plurality of image data M representing the image of the object S on which each of the phase-shifted fringe patterns PB is projected, The relative phase value θp of the pixel p of the corresponding image data M is calculated. The relative phase value calculation unit 54 calculates a relative phase value θp of each of the plurality of pixels p of the image data M based on the luminance of each of the plurality of points of the image data M. The relative phase value calculation unit 54 calculates a relative phase value with respect to the image data acquired from the imaging element 42 of each imaging device 4.

[0032] 프린지 차수 산출부(55)는, 복수의 화상 데이터(M)에 근거하여, 화상 데이터(M)의 복수의 각 화소(p)의 프린지 패턴(PB)의 프린지 차수(n)를 산출한다. 프린지 차수(n)란, 물체(S)에 한 번에 투영되는 프린지 패턴(PB)의 복수의 프린지 중, 특정한 프린지를 기준으로 하여 붙여지는 복수의 각 프린지의 번호이다. 환언하자면, 프린지 차수(n)란, 물체(S)에 한 번에 투영되는 프린지 패턴(PB)의 복수의 프린지 중, 기준이 되는 프린지로부터 세었을 때 n번째의 프린지임을 나타내는 값이다. 프린지 차수 산출부(55)는, 각 촬상 장치(4)의 촬상 소자(42)로부터 취득된 화상 데이터에 대해, 프린지 차수를 산출한다.The fringe order calculation unit 55 calculates the fringe order n of the fringe pattern PB of each of the plurality of pixels p of the image data M based on the plurality of image data M do. The fringe order n is a number of each of a plurality of fringes attached based on a specific fringe among a plurality of fringes of the fringe pattern PB projected on the object S at one time. In other words, the fringe order (n) is a value representing the nth fringe counted from the reference fringe among a plurality of fringes of the fringe pattern PB projected onto the object S at once. The fringe order calculation unit 55 calculates a fringe order with respect to the image data acquired from the image pickup device 42 of each image pickup device 4.

[0033] 절대 위상값 산출부(56)는, 상대 위상값(θ)과 프린지 차수(n)에 근거하여, 화상 데이터(M)의 복수의 각 화소(p)의 절대 위상값(θa)을 산출한다. 절대 위상값 산출부(56)는, 각 촬상 장치(4)의 촬상 소자(42)로부터 취득된 화상 데이터에 대해, 절대 위상값을 산출한다.The absolute phase value calculation unit 56 calculates the absolute phase value θa of each of the plurality of pixels p of the image data M based on the relative phase value θ and the fringe order n Calculate. The absolute phase value calculation unit 56 calculates an absolute phase value with respect to the image data acquired from the imaging element 42 of each imaging device 4.

[0034] 3차원 형상 산출부(57)는, 화상 데이터(M)의 복수의 각 화소(p)의 절대 위상값(θa)에 근거하여, 화상 데이터(M)의 복수의 각 화소(p)에 대응하는 물체(S)의 복수의 각 점의 높이 데이터를 산출하여, 물체(S)의 부분적인 3차원 형상을 산출한다. 3차원 형상 산출부(57)는, 각 촬상 장치(4)의 촬상 소자(42)로부터 취득된 화상 데이터에 대해, 물체(S)의 부분적인 3차원 형상을 산출한다.The three-dimensional shape calculation unit 57 is based on the absolute phase value θa of each of the plurality of pixels p of the image data M, the plurality of each of the pixels p of the image data M By calculating the height data of each of the plurality of points of the object S corresponding to, a partial three-dimensional shape of the object S is calculated. The three-dimensional shape calculation unit 57 calculates a partial three-dimensional shape of the object S with respect to the image data acquired from the imaging element 42 of each imaging device 4.

[0035] 3차원 형상 특정부(58)는, 물체(S)의 부분적인 3차원 형상에 근거하여, 물체(S)의 전체적인 3차원 형상을 특정한다. 3차원 형상 특정부(58)는, 물체(S)의 부분적인 3차원 형상의 산출 결과를 합성함으로써, 물체(S)의 전체적인 3차원 형상을 산출한다.The three-dimensional shape specifying unit 58 specifies the overall three-dimensional shape of the object S based on the partial three-dimensional shape of the object S. The three-dimensional shape specifying unit 58 calculates the overall three-dimensional shape of the object S by synthesizing the calculation result of the partial three-dimensional shape of the object S.

[0036] ＜3차원 계측 방법＞<3D measurement method>

다음으로, 도 7을 이용하여, 제1 실시형태에 따른 3차원 계측 방법에 대해 설명한다. 도 7은, 제1 실시형태에 따른 3차원 계측 방법의 일례를 나타낸 플로 차트이다.Next, a three-dimensional measurement method according to the first embodiment will be described with reference to FIG. 7. 7 is a flowchart showing an example of a three-dimensional measurement method according to the first embodiment.

[0037] 패턴 생성부(52)는, 프린지 패턴 데이터를 생성한다. 프린지 패턴 데이터는, 투영 장치(3)의 광변조 소자(32)로 출력된다. 투영 장치(3)는, 패턴 광을 위상 시프트시키면서 물체(S)에 조사한다(단계 S10). 촬상 장치(4)는, 패턴 광이 조사된 물체(S)의 부분적인 화상 데이터를 복수 취득한다(단계 S11).The pattern generation unit 52 generates fringe pattern data. The fringe pattern data is output to the optical modulation element 32 of the projection device 3. The projection device 3 irradiates the object S while phase shifting the pattern light (step S10). The imaging device 4 acquires a plurality of partial image data of the object S irradiated with the pattern light (step S11).

[0038] 도 8은, 제1 실시형태에 따른 프린지 패턴(PB)의 일례를 나타낸 도면이다. 도 8에 나타낸 바와 같이, 프린지 패턴(PB)은, 위상 시프트량이 0[°]인 프린지 패턴(PB1)과, 위상 시프트량이 90[°]인 프린지 패턴(PB2)과, 위상 시프트량이 180[°]인 프린지 패턴(PB3)과, 위상 시프트량이 270[°]인 프린지 패턴(PB4)을 포함한다. 투영 장치(3)는, 프린지 패턴(PB1), 프린지 패턴(PB2), 프린지 패턴(PB3), 및 프린지 패턴(PB4)을 각각 물체(S)에 차례로 투영한다.8 is a diagram showing an example of a fringe pattern PB according to the first embodiment. As shown in Fig. 8, the fringe pattern PB has a fringe pattern PB1 having a phase shift amount of 0 [°], a fringe pattern PB2 having a phase shift amount of 90 [°], and a phase shift amount of 180 [°]. ], and a fringe pattern PB4 having a phase shift amount of 270 [°]. The projection device 3 sequentially projects the fringe pattern PB1, the fringe pattern PB2, the fringe pattern PB3, and the fringe pattern PB4 on the object S, respectively.

[0039] 도 9는, 본 실시형태에 따른 프린지 패턴(PB)이 투영된 물체(S)의 부분적인 화상 데이터(M)의 일례를 나타낸 도면이다. 도 9에 나타낸 바와 같이, 화상 데이터(M)는, 프린지 패턴(PB1)이 투영된 물체(S)의 화상 데이터(M1), 프린지 패턴(PB2)이 투영된 물체(S)의 화상 데이터(M2), 프린지 패턴(PB3)이 투영된 물체(S)의 화상 데이터(M3), 및 프린지 패턴(PB4)이 투영된 물체(S)의 화상 데이터(M4)를 포함한다. 화상 데이터 취득부(53)는, 복수의 화상 데이터(M)(M1, M2, M3, M4)를 취득한다.9 is a diagram showing an example of partial image data M of the object S on which the fringe pattern PB according to the present embodiment is projected. 9, the image data M is the image data M1 of the object S on which the fringe pattern PB1 is projected, and the image data M2 of the object S on which the fringe pattern PB2 is projected. ), image data M3 of the object S on which the fringe pattern PB3 is projected, and image data M4 of the object S on which the fringe pattern PB4 is projected. The image data acquisition unit 53 acquires a plurality of image data M (M1, M2, M3, M4).

[0040] 도 10은, 본 실시형태에 따른 화상 데이터(M1)의 화소(p(x, y))의 휘도(a1), 화상 데이터(M2)의 화소(p(x, y))의 휘도(a2), 화상 데이터(M3)의 화소(p(x, y))의 휘도(a3), 및 화상 데이터(M4)의 화소(p(x, y))의 휘도(a4)의 일례를 나타낸 도면이다. 4개의 화상 데이터(M)(M1, M2, M3, M4)에 있어서, 화소(p(x, y))는, 물체(S)의 동일한 점으로부터의 광이 입사된 화소이다. 도 10에 나타낸 바와 같이, 상대적인 휘도는, 프린지 패턴(PB)의 위상 시프트량만큼 변화한다. 10 is a luminance (a 1 ) of the pixel (p(x, y)) of the image data M1 according to the present embodiment, and the pixel (p(x, y)) of the image data M2 The luminance (a 2 ), the luminance (a 3 ) of the pixel (p(x, y)) of the image data M3, and the luminance (a 4 ) of the pixel (p(x, y)) of the image data (M4) It is a figure showing an example of. In the four image data M (M1, M2, M3, M4), the pixel p(x, y) is a pixel to which light from the same point of the object S is incident. As shown in Fig. 10, the relative luminance changes by the amount of phase shift of the fringe pattern PB.

[0041] 상대 위상값 산출부(54)는, 복수의 화상 데이터(M)(M1, M2, M3, M4)의 휘도에 근거하여, 화상 데이터(M)의 복수의 각 화소(p)의 상대 위상값(θp)을 산출한다(단계 S12).[0041] The relative phase value calculation unit 54 is based on the luminance of the plurality of image data M (M1, M2, M3, M4), relative to each of the plurality of pixels p of the image data M The phase value θp is calculated (step S12).

[0042] 프린지 패턴(PB)이 투영된 물체(S)의 복수의 각 점의 상대 위상값(θp)과, 화상 데이터(M)의 복수의 각 화소(p)의 상대 위상값(θp)은, 일대일로 대응한다. 상대 위상값 산출부(54)는, 화상 데이터(M)의 복수의 각 화소(p)의 상대 위상값(θp)을 산출하여, 프린지 패턴(PB)이 투영된 물체(S)의 복수의 각 점의 상대 위상값(θp)을 산출한다.[0042] The relative phase value θp of each of the plurality of points of the object S on which the fringe pattern PB is projected and the relative phase value θp of each of the plurality of pixels p of the image data M are , Respond on a one-to-one basis. The relative phase value calculation unit 54 calculates the relative phase values θp of each of the plurality of pixels p of the image data M, and the plurality of angles of the object S on which the fringe pattern PB is projected. The relative phase value θp of the point is calculated.

[0043] 상대 위상값 산출부(54)는, 식 (1)에 근거하여, 화소(p(x, y))의 상대 위상값(θp(x, y))을 산출한다.The relative phase value calculation unit 54 calculates the relative phase value θp(x, y) of the pixel p(x, y) based on Equation (1).

[0044][0044]

Figure pat00001
Figure pat00001

[0045] 상대 위상값 산출부(54)는, 모든 화소(p)에 대해 상대 위상값(θp)을 산출한다. 모든 화소(p)에 대한 상대 위상값(θp)이 산출됨으로써, 프린지 패턴(PB)이 투영된 물체(S)의 모든 점에 대한 상대 위상값(θp)이 산출된다.The relative phase value calculation unit 54 calculates a relative phase value θp for all pixels p. By calculating the relative phase values θp for all the pixels p, the relative phase values θp for all points of the object S on which the fringe pattern PB is projected are calculated.

[0046] 도 11은, 본 실시형태에 따른 상대 위상값(θp) 및 절대 위상값(θa)의 일례를 모식적으로 나타낸 도면이다. 도 11에 나타낸 바와 같이, 상대 위상값(θp)은, 프린지 패턴(PB)의 1 위상마다 산출된다. 식 (1)은 역(逆)탄젠트 함수이기 때문에, 도 11에 나타낸 바와 같이, 각 화소(p)의 상대 위상값(θp)은, 프린지 패턴(PB)의 1 위상마다의 값(-π∼π 사이의 값)이 된다.11 is a diagram schematically showing an example of a relative phase value θp and an absolute phase value θa according to the present embodiment. As shown in Fig. 11, the relative phase value θp is calculated for each phase of the fringe pattern PB. Since Equation (1) is an inverse tangent function, as shown in Fig. 11, the relative phase value θp of each pixel p is a value for each phase of the fringe pattern PB (-π to between π).

[0047] 상대 위상값(θp)으로부터 물체(S)의 3차원 형상을 산출하기 위해, 물체(S)의 각 점에 있어서의 절대 위상값(θa)을 산출하는 위상 접속이 실시된다. 본 실시형태에 있어서는, 위상 접속을 위해, 물체(S)에 그레이 코드 패턴을 투영하는 공간 코드화법이 사용된다. 본 실시형태에 있어서는, 공간 코드화법에 근거하여 프린지 패턴(PB)의 프린지 차수(n)가 산출된다. 도 11에 나타낸 바와 같이, 상대 위상값(θp)과 프린지 차수(n)에 근거하여, 절대 위상값(θa)(＝θp＋2nπ)이 산출된다.[0047] In order to calculate the three-dimensional shape of the object S from the relative phase value θp, phase connection is performed to calculate the absolute phase value θa at each point of the object S. In this embodiment, for phase connection, a spatial coding method in which a gray code pattern is projected onto the object S is used. In this embodiment, the fringe order n of the fringe pattern PB is calculated based on the spatial coding method. As shown in Fig. 11, based on the relative phase value θp and the fringe order n, the absolute phase value θa (=θp+2nπ) is calculated.

[0048] 도 12는, 본 실시형태에 따른 그레이 코드 패턴(PR)의 일례를 나타낸 도면이다. 그레이 코드 패턴(PR)은, 명암의 코드가 소정의 주기로 반전되는 패턴이다. 도 12에 나타낸 바와 같이, 그레이 코드 패턴(PR)은, 프린지 패턴(PB)의 주기보다 짧은 주기로 코드가 변화하는 그레이 코드 패턴(PR1)과, 그레이 코드 패턴(PR1)의 주기와는 상이한 주기로 코드가 변화하는 그레이 코드 패턴(PR2)과, 그레이 코드 패턴(PR1, PR2)의 주기와는 상이한 주기로 코드가 변화하는 그레이 코드 패턴(PR3)과, 그레이 코드 패턴(PR1, PR2, PR3)의 주기와는 상이한 주기로 코드가 변화하는 그레이 코드 패턴(PR4)을 포함한다. 투영 장치(3)는, 그레이 코드 패턴(PR1), 그레이 코드 패턴(PR2), 그레이 코드 패턴(PR3), 및 그레이 코드 패턴(PR4)을 각각 물체(S)에 차례로 투영한다.12 is a diagram showing an example of a gray code pattern PR according to the present embodiment. The gray code pattern PR is a pattern in which a code of light and dark is inverted at a predetermined period. As shown in Fig. 12, the gray code pattern PR is coded at a cycle different from the cycle of the gray code pattern PR1 and the gray code pattern PR1 in which the code changes in a cycle shorter than the cycle of the fringe pattern PB. The gray code pattern (PR2) in which is changed, the gray code pattern (PR3) in which the code changes in a period different from the period of the gray code patterns (PR1, PR2), and the period of the gray code patterns (PR1, PR2, PR3) Includes a gray code pattern PR4 whose code changes in different periods. The projection device 3 sequentially projects the gray code pattern PR1, the gray code pattern PR2, the gray code pattern PR3, and the gray code pattern PR4 onto the object S, respectively.

[0049] 도 13은, 본 실시형태에 따른 그레이 코드 패턴(PR)이 투영된 물체(S)의 화상 데이터(N)의 일례를 나타낸 도면이다. 화상 데이터(N)는, 그레이 코드 패턴(PR1)이 투영된 물체(S)의 화상 데이터(N1)와, 그레이 코드 패턴(PR2)이 투영된 물체(S)의 화상 데이터(N2)와, 그레이 코드 패턴(PR3)이 투영된 물체(S)의 화상 데이터(N3)와, 그레이 코드 패턴(PR4)이 투영된 물체(S)의 화상 데이터(N4)를 포함한다. 화상 데이터 취득부(53)는, 복수의 화상 데이터(N(N1, N2, N3, N4))를 취득한다.13 is a diagram showing an example of image data N of an object S on which a gray code pattern PR according to the present embodiment is projected. The image data N is the image data N1 of the object S on which the gray code pattern PR1 is projected, the image data N2 of the object S on which the gray code pattern PR2 is projected, and gray It includes image data N3 of the object S on which the code pattern PR3 is projected, and image data N4 of the object S on which the gray code pattern PR4 is projected. The image data acquisition unit 53 acquires a plurality of image data N (N1, N2, N3, N4).

[0050] 프린지 차수 산출부(55)는, 복수의 화상 데이터(N)에 근거하여, 화상 데이터(M)의 복수의 각 화소(p)의 프린지 패턴의 프린지 차수(n)를 산출한다(단계 S13).The fringe order calculation unit 55 calculates the fringe order n of the fringe pattern of each of the plurality of pixels p of the image data M based on the plurality of image data N (step S13).

[0051] 프린지 차수 산출부(55)는, 공간 코딩 수법을 이용하여 화상 데이터(M)에 있어서의 프린지 패턴(PB)의 프린지 차수(n)를 산출한다.The fringe order calculation unit 55 calculates the fringe order n of the fringe pattern PB in the image data M using a spatial coding technique.

[0052] 도 14는, 본 실시형태에 따른 프린지 패턴(PB)을 투영하여 촬상된 화상 데이터(M)의 휘도 변화와, 그레이 코드 패턴(PR)을 투영하여 촬상된 화상 데이터(N)의 휘도 변화와, 복수의 그레이 코드 패턴(PR)을 합성함으로써 생성되는 그레이 코드(GC)(프린지 차수 코드)와, 프린지 차수(n)와의 관계를 나타낸 도면이다.14 is a change in luminance of image data M captured by projecting a fringe pattern PB according to the present embodiment, and luminance of image data N captured by projecting a gray code pattern PR It is a diagram showing the relationship between the change and the gray code GC (fringe order code) generated by synthesizing a plurality of gray code patterns PR, and the fringe order n.

[0053] 프린지 차수 산출부(55)는, 화상 데이터(M)의 복수의 화소의 각각에 대해, 복수의 그레이 코드 패턴(PR)의 합성값인 그레이 코드(GC)를 생성한다. 그레이 코드(GC)는, 동일한 프린지 차수 코드에 의해 구성되는 코드이다. 그레이 코드(GC)는, 소정의 주기로 생성된다. 본 실시형태에 있어서, 그레이 코드(GC)의 주기는, 프린지 패턴(PB)의 주기보다 짧다.The fringe order calculation unit 55 generates a gray code GC, which is a composite value of a plurality of gray code patterns PR, for each of a plurality of pixels of the image data M. The gray code GC is a code constituted by the same fringe order code. The gray code GC is generated at a predetermined cycle. In this embodiment, the period of the gray code GC is shorter than the period of the fringe pattern PB.

[0054] 프린지 차수 코드는, 복수의 그레이 코드 패턴(PR)이 물체(S)에 투영되었을 때의 명암 코드의 조합에 근거하여 규정된다. 그레이 코드 패턴(PR)은, 명암 코드가 번갈아 반전되는 패턴을 포함한다. 본 실시형태에 있어서는, 4개의 그레이 코드 패턴(PR(PR1, PR2, PR3, PR4))이 물체(S)의 어느 점에 투영되었을 때, 이들 4개의 그레이 코드 패턴(PR)의 명 코드와 암 코드의 조합에 의해, 2진수에 근거하여 프린지 차수 코드가 규정된다. 도 10에 나타낸 예에서는, 프린지 차수 코드로서, 「0x0000」, 「0x0001」, 「0x0010」, 「0x0011」, 「0x0100」, 「0x0101」, 「0x0110」, 「0x0111」이 규정된다.[0054] The fringe order code is defined based on a combination of light and dark codes when a plurality of gray code patterns PR are projected onto the object S. The gray code pattern PR includes a pattern in which light and dark codes are alternately inverted. In this embodiment, when four gray code patterns (PR(PR1, PR2, PR3, PR4)) are projected onto any point of the object S, the light codes and darks of these four gray code patterns PR By the combination of codes, the fringe order code is defined based on the binary number. In the example shown in Fig. 10, "0x0000", "0x0001", "0x0010", "0x0011", "0x0100", "0x0101", "0x0110" and "0x0111" are defined as fringe order codes.

[0055] 본 실시형태에 있어서, 1회째에 투영되는 그레이 코드 패턴(PR)의 명암 코드의 주기(Lr)는, 프린지 패턴(PB)의 주기(Lb)보다 짧다. 2회째에 투영되는 그레이 코드 패턴(PR)의 명암 코드의 주기(Lr)는, 1회째에 투영되는 그레이 코드 패턴(PR)의 명암 코드의 주기(Lr)의 2배이다. 3회째에 투영되는 그레이 코드 패턴(PR)의 명암 코드의 주기(Lr)는, 2회째에 투영되는 그레이 코드 패턴(PR)의 명암 코드의 주기(Lr)의 2배이다. 4회째에 투영되는 그레이 코드 패턴(PR)의 명암 코드의 주기(Lr)는, 3회째에 투영되는 그레이 코드 패턴(PR)의 명암 코드의 주기(Lr)의 2배이다.In the present embodiment, the period Lr of the light and dark code of the gray code pattern PR projected at the first time is shorter than the period Lb of the fringe pattern PB. The period Lr of the contrast code of the gray code pattern PR projected at the second time is twice the period Lr of the contrast code of the gray code pattern PR projected at the first time. The period Lr of the light and dark code of the gray code pattern PR projected at the third time is twice the period Lr of the light and dark code of the gray code pattern PR projected at the second time. The period Lr of the light and dark code of the gray code pattern PR projected at the fourth time is twice the period Lr of the light and dark code of the gray code pattern PR projected at the third time.

[0056] 1개의 그레이 코드(GC)는, 1개의 프린지 차수 코드에 의해 규정된다. 즉, 그레이 코드(GC)와 프린지 차수 코드는, 일대일로 대응한다. 본 실시형태에 있어서는, 그레이 코드(GC)의 주기는, 프린지 패턴(PB)의 주기보다 짧다. 본 실시형태에 있어서, 그레이 코드(GC)의 주기는, 프린지 패턴(PB)의 주기의 3/4이다. 즉, 프린지 패턴(PB)의 3주기 분(分)의 길이와 그레이 코드(GC)의 4주기 분의 길이가 동일하다.One gray code (GC) is defined by one fringe order code. That is, the gray code (GC) and the fringe order code correspond to each other on a one-to-one basis. In this embodiment, the period of the gray code GC is shorter than the period of the fringe pattern PB. In this embodiment, the period of the gray code GC is 3/4 of the period of the fringe pattern PB. That is, the length of three cycles of the fringe pattern PB and the length of four cycles of the gray code GC are the same.

[0057] 프린지 패턴(PB)의 주기를 Lb, 그레이 코드 패턴의 주기를 Lr, 0.5 이상 1 미만의 수를 T, 0 이상의 정수를 i로 하였을 때, 본 실시형태에 있어서는, 식 (2)의 조건을 만족한다.When the period of the fringe pattern (PB) is Lb, the period of the gray code pattern is Lr, the number of 0.5 or more and less than 1 is T, and the integer of 0 or more is i, in this embodiment, the expression (2) Satisfies the conditions.

[0058][0058]

Figure pat00002
Figure pat00002

[0059] 도 14에 나타낸 예에서는, 수(T)는, 3/4이다. 즉, 그레이 코드 패턴(PR1)의 주기(Lr)는, (3/4)×Lb이다. 그레이 코드 패턴(PR2)의 주기(Lr)는, (6/4)×Lb이다. 그레이 코드 패턴(PR3)의 주기(Lr)는, (12/4)×Lb이다. 그레이 코드 패턴(PR4)의 주기(Lr)는, (24/4)×Lb이다.In the example shown in FIG. 14, the number T is 3/4. That is, the period Lr of the gray code pattern PR1 is (3/4) x Lb. The period Lr of the gray code pattern PR2 is (6/4) x Lb. The period Lr of the gray code pattern PR3 is (12/4) x Lb. The period Lr of the gray code pattern PR4 is (24/4) x Lb.

[0060] 이와 같이, 복수의 그레이 코드 패턴(PR)의 합성값으로부터 프린지 차수 코드 및 프린지 차수 코드에 일대일로 대응하는 그레이 코드(GC)가 산출되고, 프린지 차수(n)가 산출된다.In this way, the fringe order code and the gray code GC corresponding to the fringe order code on a one-to-one basis from the composite value of the plurality of gray code patterns PR are calculated, and the fringe order n is calculated.

[0061] 절대 위상값 산출부(56)는, 상대 위상값(θp)과 프린지 차수(n)에 근거하여, 화상 데이터(M)의 복수의 각 화소(p)의 절대 위상값(θa)을 산출한다(단계 S14).[0061] The absolute phase value calculation unit 56 calculates the absolute phase value θa of each of the plurality of pixels p of the image data M based on the relative phase value θp and the fringe order n. It is calculated (step S14).

[0062] 3차원 형상 산출부(57)는, 화상 데이터(M)의 복수의 각 화소(p)의 절대 위상값(θa)에 근거하여, 물체(S)의 부분적인 3차원 형상을 산출한다(단계 S15).The three-dimensional shape calculation unit 57 calculates a partial three-dimensional shape of the object S based on the absolute phase value θa of each of the plurality of pixels p of the image data M. (Step S15).

[0063] 3차원 형상 산출부(57)는, 절대 위상값(θa)에 근거하여, 삼각 측량(triangulation)의 원리에 의해, 화상 데이터(M)의 각 화소(p)에 있어서의 높이 데이터를 산출한다. 화상 데이터(M)의 각 화소(p)에 있어서의 높이 데이터와 물체(S)의 표면의 각 점에 있어서의 높이 데이터는 일대일로 대응한다. 물체(S)의 표면의 각 점에 있어서의 높이 데이터는, 3차원 공간에 있어서의 각 점의 좌표값을 나타낸다. 3차원 형상 산출부(57)는, 각 점에 있어서의 높이 데이터에 근거하여, 물체(S)의 3차원 형상 데이터를 산출한다.The three-dimensional shape calculation unit 57 calculates the height data of each pixel p of the image data M by the principle of triangulation based on the absolute phase value θa. Calculate. The height data of each pixel p of the image data M and the height data of each point on the surface of the object S correspond one-to-one. The height data at each point on the surface of the object S represents a coordinate value of each point in a three-dimensional space. The three-dimensional shape calculation unit 57 calculates three-dimensional shape data of the object S based on the height data at each point.

[0064] 제어 장치(5)는, 물체(S)를 촬상하는 모든 촬상 장치로부터 취득한 화상 데이터에 근거하여, 물체(S)의 부분적인 3차원 형상을 산출하였는지의 여부를 판정한다(단계 S16). 산출하였다고 판정된 경우(단계 S16：Yes), 단계 S17로 진행한다. 한편, 산출하였다고 판정되지 않는 경우(단계 S16：No), 단계 S10으로 진행한다.The control device 5 determines whether or not a partial three-dimensional shape of the object S has been calculated based on image data acquired from all imaging devices that image the object S (step S16). . When it is determined that it has been calculated (step S16: Yes), the process proceeds to step S17. On the other hand, when it is not determined that it has been calculated (step S16: No), the process proceeds to step S10.

[0065] 단계 S16에서 Yes로 판정된 경우, 3차원 형상 특정부(58)는, 3차원 형상 산출부(57)에 의해 산출된 물체(S)의 부분적인 3차원 형상에 근거하여, 물체(S)의 전체적인 3차원 형상을 특정한다(단계 S17). 3차원 형상 특정부(58)는, 물체(S)의 부분적인 3차원 형상 데이터를 물체(S)의 전체 영역에 걸쳐서 합성하여, 물체(S)의 전체적인 3차원 형상 데이터를 산출한다.When it is determined as Yes in step S16, the three-dimensional shape specifying unit 58, based on the partial three-dimensional shape of the object S calculated by the three-dimensional shape calculating unit 57, the object ( The overall three-dimensional shape of S) is specified (step S17). The three-dimensional shape specifying unit 58 synthesizes the partial three-dimensional shape data of the object S over the entire area of the object S, and calculates the overall three-dimensional shape data of the object S.

[0066] 상술한 바와 같이, 제1 실시형태에서는, 물체(S)를 촬상하는 촬상 장치(4)를 이동시키는 일 없이, 물체(S)의 3차원 형상을 특정할 수 있다. 이에 의해, 3차원 계측 장치(1)는, 물체(S) 또는 촬상 장치(4)의 주사 시간을 생략할 수 있기 때문에, 물체(S)의 전체적인 3차원 형상을 특정하기까지의 시간을 단축할 수 있다.As described above, in the first embodiment, the three-dimensional shape of the object S can be specified without moving the imaging device 4 for imaging the object S. Thereby, since the 3D measurement device 1 can omit the scanning time of the object S or the imaging device 4, the time until specifying the overall 3D shape of the object S can be shortened. I can.

[0067] 또한, 제1 실시형태에서는, 물체(S)를 촬상하는 촬상 장치(4)를 이동시킬 필요가 없기 때문에, 물체(S)를 촬상할 때의 흔들림을 줄일 수 있다. 이에 의해, 3차원 계측 장치(1)는, 물체(S)의 전체적인 3차원 형상을 보다 정밀도 높게 특정할 수 있다.In addition, in the first embodiment, since it is not necessary to move the imaging device 4 for imaging the object S, it is possible to reduce the shaking when imaging the object S. Thereby, the three-dimensional measuring apparatus 1 can specify the whole three-dimensional shape of the object S with high precision.

[0068] 또한, 제1 실시형태에서는, 촬상 장치(4)를 범용적인 카메라로 구성할 수 있다. 이에 의해, 3차원 계측 장치(1)는, 물체(S)의 전체적인 3차원 형상을 저비용으로 특정할 수 있다.In addition, in the first embodiment, the imaging device 4 can be configured as a general-purpose camera. Thereby, the three-dimensional measuring apparatus 1 can specify the whole three-dimensional shape of the object S at low cost.

[0069] [제2 실시형태][0069] [Second Embodiment]

도 15를 이용하여, 제2 실시형태에 대해 설명한다. 도 15는, 제2 실시형태에 따른 3차원 계측 장치(1A)의 일례를 나타낸 모식도이다.A second embodiment will be described with reference to FIG. 15. 15 is a schematic diagram showing an example of a three-dimensional measurement device 1A according to a second embodiment.

[0070] 도 15에 나타낸 바와 같이, 제2 실시형태에 따른 3차원 계측 장치(1A)는, 통상의 화각(angle of view, 畵角)의 촬상 장치(4)(제1 카메라)에 더하여, 패턴 광(PL)이 조사된 물체(S)를 촬상하여, 촬상 범위(B)에 있어서의 물체(S)의 부분적인 화상 데이터를 취득하는 복수의 촬상 장치(4A)(제2 카메라)를 구비한다는 점에서, 도 1에 도시된 3차원 계측 장치(1)와는 상이하다. 촬상 장치(4A)의 촬상 범위(B)는, 촬상 장치(4)의 촬상 범위(A)보다 넓다. 즉, 촬상 장치(4A)는, 촬상 장치(4)보다 화각의 촬상(廣角)인 범위를 촬상할 수 있는 촬상 장치이다.As shown in FIG. 15, the three-dimensional measuring device 1A according to the second embodiment is in addition to the imaging device 4 (first camera) of a normal angle of view, A plurality of imaging devices 4A (second cameras) are provided for imaging the object S irradiated with the pattern light PL to acquire partial image data of the object S in the imaging range B. It differs from the three-dimensional measuring apparatus 1 shown in FIG. 1 in that it does. The imaging range B of the imaging device 4A is wider than the imaging range A of the imaging device 4. That is, the imaging device 4A is an imaging device capable of imaging a range that is an imaging angle of a field of view than the imaging device 4.

[0071] 촬상 장치(4A)는, 예컨대, X방향으로 Q대 배치되고, Y방향으로 R대 배치된다. Q는, 촬상 장치(4)의 X방향에 있어서의 대수(臺數)인 N보다 작다. R은, 촬상 장치(4)의 Y방향에 있어서의 대수인 M보다 작다.[0071] The imaging device 4A is arranged, for example, with Q units in the X direction and R units in the Y direction. Q is smaller than N, which is the logarithm of the imaging device 4 in the X direction. R is smaller than M, which is the logarithm of the imaging device 4 in the Y direction.

[0072] 도 16을 이용하여, 물체(S)에 있어서의 촬상 장치(4A)의 촬상 범위에 대해 설명한다. 도 16은, 촬상 장치(4A)의 촬상 범위를 설명하기 위한 도면이다.[0072] With reference to FIG. 16, the imaging range of the imaging device 4A in the object S will be described. 16 is a diagram for describing an imaging range of the imaging device 4A.

[0073] 도 16에서는, 촬상 장치(4A)가 물체(S)에 대향하여 매트릭스 형상으로 Q×R대 배치되어 있는 경우의, 각 촬상 장치(4A)의 촬상 범위를 나타내고 있다. 촬상 범위(B11)는 1행1열째의 촬상 장치(4A)의 촬상 범위이며, 촬상 범위(BQR)는 Q행R열째의 촬상 장치(4A)의 촬상 범위이다. 도 16에 나타낸 바와 같이, 3차원 계측 장치(1A)는, 복수의 촬상 장치(4)를 이용함으로써, 물체(S)의 표면을 빈틈없이 촬상한다. 촬상 장치(4A)의 촬상 범위(B11∼BQR)는, 촬상 장치(4)의 촬상 범위(A11∼ANM)보다 넓다. 이 때문에, 3차원 계측 장치(1A)는, 3차원 계측 장치(1)보다 적은 촬상 횟수로 물체(S)의 표면을 빈틈없이 촬상할 수 있다.In FIG. 16, the imaging range of each imaging device 4A is shown in the case where the imaging device 4A is arrange|positioned in a matrix shape in a matrix shape facing the object S. The imaging range B 11 is an imaging range of the imaging device 4A in the first row and the first column, and the imaging range B QR is an imaging range of the imaging device 4A in the Q row and R columns. As shown in FIG. 16, the three-dimensional measuring device 1A uses the plurality of imaging devices 4 to capture an image of the surface of the object S tightly. The imaging ranges B 11 to B QR of the imaging device 4A are wider than the imaging ranges A 11 to A NM of the imaging device 4. For this reason, the three-dimensional measuring apparatus 1A can image the surface of the object S seamlessly with a smaller number of images than the three-dimensional measuring apparatus 1.

[0074] 도 17을 이용하여, 제2 실시형태에 따른 제어 장치(5A)의 구성에 대해 설명한다. 도 17은, 제2 실시형태에 따른 제어 장치(5A)의 구성의 일례를 나타낸 기능 블록도이다.A configuration of a control device 5A according to a second embodiment will be described with reference to FIG. 17. 17 is a functional block diagram showing an example of the configuration of the control device 5A according to the second embodiment.

[0075] 도 17에 나타낸 바와 같이, 제어 장치(5A)는, 설정부(59)를 구비한다는 점에서, 도 6에 도시된 제어 장치(5)와 상이하다.As shown in FIG. 17, the control device 5A is different from the control device 5 shown in FIG. 6 in that it includes a setting unit 59. As shown in FIG.

[0076] 설정부(59)는, 물체(S)를 촬상하기 위한 촬상 장치를 판정한다. 설정부(59)는, 판정 결과에 근거하여, 물체(S)를 촬상하는 촬상 장치로서, 촬상 장치(4) 또는 촬상 장치(4A)를 설정한다.The setting unit 59 determines an imaging device for imaging the object S. The setting unit 59 sets the imaging device 4 or the imaging device 4A as an imaging device for imaging the object S based on the determination result.

[0077] 설정부(59)는, 물체(S)를 촬상하는 촬상 장치로서, 물체(S) 자체에 따라, 촬상 장치(4) 또는 촬상 장치(4A)를 설정한다. 설정부(59)는, 물체(S)를 촬상하는 촬상 장치로서, 사용자로부터의 지시에 근거하여, 촬상 장치(4) 또는 촬상 장치(4A)를 설정한다. 설정부(59)는, 물체(S)의 형상을 보다 높은 정밀도로 산출하는 경우에는, 물체(S)를 촬상하는 촬상 장치를 촬상 장치(4)로 설정한다. 설정부(59)는, 물체(S)의 형상을 보다 단시간에 산출하는 경우에는, 물체(S)를 촬상하는 촬상 장치를 촬상 장치(4A)로 설정한다.The setting unit 59, as an imaging device for imaging the object S, sets the imaging device 4 or the imaging device 4A according to the object S itself. The setting unit 59 is an imaging device that captures the object S, and sets the imaging device 4 or the imaging device 4A based on an instruction from the user. In the case of calculating the shape of the object S with higher precision, the setting unit 59 sets an imaging device for imaging the object S as the imaging device 4. In the case of calculating the shape of the object S in a shorter time, the setting unit 59 sets an imaging device for imaging the object S as the imaging device 4A.

[0078] 도 18을 이용하여, 제2 실시형태에 따른 3차원 계측 방법에 대해 설명한다. 도 18은, 제2 실시형태에 따른 3차원 계측 방법의 일례를 나타낸 플로 차트이다.A three-dimensional measurement method according to a second embodiment will be described with reference to FIG. 18. 18 is a flowchart showing an example of a three-dimensional measurement method according to a second embodiment.

[0079] 우선, 제어 장치(5A)는, 물체(S)를 촬상하는 촬상 장치를 화각의 촬상으로 전환할지의 여부를 판정한다(단계 S20). 화각의 촬상으로 전환한다고 판정된 경우(단계 S20：Yes), 단계 S21로 진행한다. 한편, 화각의 촬상으로 전환한다고 판정되지 않은 경우(단계 S20：No), 단계 S22로 진행한다.First, the control device 5A determines whether or not to switch the imaging device for imaging the object S to the imaging of the angle of view (step S20). When it is determined to switch to imaging of the angle of view (step S20: Yes), the process proceeds to step S21. On the other hand, when it is not determined that it is switched to image capture of the angle of view (step S20: No), the process proceeds to step S22.

[0080] 단계 S20에서 Yes로 판정된 경우, 설정부(59)는, 물체(S)를 촬상하는 촬상 장치로서 광각의 촬상 장치(4A)를 설정한다(단계 S21). 그리고, 단계 S23으로 진행한다. 한편, 단계 S20에서 No로 판정된 경우, 설정부(59)는, 물체(S)를 촬상하는 촬상 장치로서 통상의 화각의 촬상 장치(4)를 설정한다(단계 S22). 그리고, 단계 S23으로 진행한다.When it is determined as Yes in step S20, the setting unit 59 sets the wide-angle imaging device 4A as an imaging device for imaging the object S (step S21). Then, it proceeds to step S23. On the other hand, when it is determined as No in step S20, the setting unit 59 sets the imaging device 4 with a normal angle of view as an imaging device for imaging the object S (step S22). Then, it proceeds to step S23.

[0081] 단계 S23∼단계 S30의 처리는, 도 7에 도시된 단계 S10∼단계 S17의 처리와 동일하므로, 설명을 생략한다.[0081] The processing of steps S23 to S30 is the same as the processing of steps S10 to S17 shown in FIG. 7, so a description thereof will be omitted.

[0082] 상술한 바와 같이, 제2 실시형태에서는, 3차원 형상의 검사 대상인 물체(S)에 따라, 통상의 촬상 장치로부터 광각의 촬상 장치로 전환할 수 있다. 이에 의해, 제2 실시형태에서는, 물체(S)의 대략적인 형상을 파악하고자 하는 경우에는, 촬상 장치(4A)를 이용함으로써, 보다 단시간에, 물체(S)의 대략적인 형상을 산출할 수 있다.As described above, in the second embodiment, it is possible to switch from a normal imaging device to a wide-angle imaging device in accordance with the object S as a three-dimensional inspection object. Accordingly, in the second embodiment, in the case of attempting to grasp the approximate shape of the object S, the approximate shape of the object S can be calculated in a shorter time by using the imaging device 4A. .

[0083] [컴퓨터 시스템][0083] [Computer system]

도 19는, 각 실시형태에 따른 컴퓨터 시스템(1000)을 나타낸 블록도이다. 상술한 제어 장치(5, 5A)는, 컴퓨터 시스템(1000)을 포함한다. 컴퓨터 시스템(1000)은, CPU(Central Processing Unit)와 같은 프로세서(1001)와, ROM(Read Only Memory)과 같은 불휘발성 메모리 및 RAM(Random Access Memory)과 같은 휘발성 메모리를 포함하는 메인 메모리(1002)와, 스토리지(1003)와, 입출력 회로를 포함하는 인터페이스(1004)를 가진다. 제어 장치(5, 5A)의 기능은, 프로그램으로서 스토리지(1003)에 기억되어 있다. 프로세서(1001)는, 프로그램을 스토리지(1003)로부터 읽어내어 메인 메모리(1002)에 전개하고, 프로그램에 따라 상술한 처리를 실행한다. 또한, 프로그램은, 네트워크를 통해 컴퓨터 시스템(1000)에 전송(配信)되어도 된다.19 is a block diagram showing a computer system 1000 according to each embodiment. The above-described control devices 5 and 5A include the computer system 1000. The computer system 1000 includes a processor 1001 such as a central processing unit (CPU), a nonvolatile memory such as read only memory (ROM), and a volatile memory such as random access memory (RAM). ), a storage 1003, and an interface 1004 including an input/output circuit. The functions of the control devices 5 and 5A are stored in the storage 1003 as programs. The processor 1001 reads a program from the storage 1003, expands it to the main memory 1002, and executes the above-described processing according to the program. Further, the program may be transmitted to the computer system 1000 via a network.

[0084] 프로그램은, 상술한 실시형태에 따라, 컴퓨터 시스템(1000)으로 하여금, 물체(S)에 대해 패턴 광을 조사하는 것과, 패턴 광이 조사된 물체(S)의 전체 영역을 촬상하도록, 물체(S)의 복수의 부분적인 영역을 촬상하는 것과, 물체(S)의 복수의 부분적인 영역의 화상 데이터를 취득하는 동시에, 복수의 화상 데이터에 대응하는 물체(S)의 부분적인 영역의 3차원 형상을 산출하고, 산출된 물체(S)의 복수의 부분적인 영역의 3차원 형상을 합성하여 물체(S)의 전체적인 3차원 형상을 특정하는 것을 실행하도록 할 수가 있다.[0084] The program, according to the above-described embodiment, causes the computer system 1000 to irradiate the object S with pattern light and to capture the entire area of the object S irradiated with the pattern light, Image data of a plurality of partial regions of the object S are captured, image data of a plurality of partial regions of the object S are acquired, and 3 of the partial regions of the object S corresponding to the plurality of image data are obtained. The dimensional shape can be calculated and the overall three-dimensional shape of the object S can be specified by synthesizing the calculated three-dimensional shape of a plurality of partial regions of the object S.

1, 1A…3차원 계측 장치, 2…지지 부재, 3…투영 장치, 31…광원, 32…광변조 소자, 33…투영 광학 시스템, 4, 4A…촬상 장치, 41…결상 광학 시스템, 42…촬상 소자, 5, 5A…제어 장치, 51…입출력부, 52…패턴 생성부, 53…화상 데이터 취득부, 54…상대 위상값 산출부, 55…프린지 차수 산출부, 56…절대 위상값 산출부, 57…3차원 형상 산출부, 58…3차원 형상 특정부, 59…설정부1, 1A... 3D measuring device, 2... Support member, 3... Projection device, 31... Light source, 32... Optical modulation element, 33... Projection optical system, 4, 4A... Imaging device, 41... Imaging optical system, 42... Imaging element, 5, 5A... Control device, 51... Input/output unit, 52... Pattern generation unit, 53... Image data acquisition unit, 54... Relative phase value calculation unit, 55... Fringe order calculation unit, 56... Absolute phase value calculation unit, 57... 3D shape calculation unit, 58... 3D shape specification part, 59... Setting

Claims (7)

물체에 대해 패턴 광을 조사하는 투영 장치와,
상기 패턴 광이 조사된 상기 물체의 전체 영역을 촬상하도록 배치되어, 각각이 상기 물체의 부분적인 영역을 촬상하는 복수의 촬상 장치와,
복수의 상기 촬상 장치의 각각으로부터 상기 물체의 부분적인 영역의 화상 데이터를 취득하는 동시에, 복수의 상기 화상 데이터에 대응하는 상기 물체의 부분적인 영역의 3차원 형상을 산출하고, 산출된 복수의 상기 물체의 부분적인 영역의 3차원 형상을 합성하여 상기 물체의 전체적인 3차원 형상을 특정하는 제어 장치
를 구비하는, 3차원 계측 장치.A projection device that irradiates patterned light onto an object,
A plurality of imaging devices arranged to capture the entire area of the object irradiated with the pattern light, each of which captures a partial area of the object;
Acquiring image data of a partial region of the object from each of a plurality of the imaging devices, calculating a three-dimensional shape of the partial region of the object corresponding to the plurality of image data, and calculating a plurality of the objects Control device for specifying the overall three-dimensional shape of the object by synthesizing the three-dimensional shape of a partial area of
A three-dimensional measurement device comprising a. 제1항에 있어서,
복수의 상기 촬상 장치는, 상기 물체에 대향하여 2차원으로 배치되어 있는,
3차원 계측 장치.The method of claim 1,
A plurality of the imaging devices are arranged in two dimensions facing the object,
3D measuring device. 제2항에 있어서,
복수의 상기 촬상 장치는, 매트릭스 형상으로 배치되어 있는,
3차원 계측 장치.The method of claim 2,
The plurality of imaging devices are arranged in a matrix shape,
3D measuring device. 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 투영 장치는, 사인파 형상의 명도 분포인 프린지 패턴 광을 위상 시프트시키면서 상기 물체에 조사하는,
3차원 계측 장치.The method according to any one of claims 1 to 3,
The projection device irradiates the object while phase shifting the fringe pattern light, which is a sine wave-shaped brightness distribution,
3D measuring device. 제1항 내지 제3항 중 어느 한 항에 있어서,
복수의 촬상 장치는, 통상의 화각으로 상기 물체를 촬상하는 제1 카메라와, 통상의 화각에 대해 광각으로 상기 물체를 촬상하는 제2 카메라를 포함하며,
상기 제어 장치는, 상기 물체에 따라 상기 물체를 촬상하기 위해 상기 제1 카메라와 상기 제2 카메라를 설정하는,
3차원 계측 장치.The method according to any one of claims 1 to 3,
The plurality of imaging apparatuses include a first camera that photographs the object at a normal angle of view, and a second camera that photographs the object at a wide angle with respect to a normal angle of view,
The control device sets the first camera and the second camera to image the object according to the object,
3D measuring device. 제4항에 있어서,
복수의 촬상 장치는, 통상의 화각으로 상기 물체를 촬상하는 제1 카메라와, 통상의 화각에 대해 광각으로 상기 물체를 촬상하는 제2 카메라를 포함하며,
상기 제어 장치는, 상기 물체에 따라 상기 물체를 촬상하기 위해 상기 제1 카메라와 상기 제2 카메라를 설정하는,
3차원 계측 장치.The method of claim 4,
The plurality of imaging apparatuses include a first camera that photographs the object at a normal angle of view, and a second camera that photographs the object at a wide angle with respect to a normal angle of view,
The control device sets the first camera and the second camera to image the object according to the object,
3D measuring device. 물체에 대해 패턴 광을 조사하는 것과,
상기 패턴 광이 조사된 상기 물체의 전체 영역을 촬상하도록, 상기 물체의 복수의 부분적인 영역을 촬상하는 것과,
상기 물체의 복수의 부분적인 영역의 화상 데이터를 취득하는 동시에, 복수의 상기 화상 데이터에 대응하는 상기 물체의 부분적인 영역의 3차원 형상을 산출하고, 산출된 상기 물체의 복수의 부분적인 영역의 3차원 형상을 합성하여 상기 물체의 전체적인 3차원 형상을 특정하는 것
을 포함하는, 3차원 계측 방법.
Irradiating an object with patterned light,
Imaging a plurality of partial areas of the object so as to image the entire area of the object irradiated with the pattern light,
At the same time, while acquiring image data of a plurality of partial regions of the object, a three-dimensional shape of the partial regions of the object corresponding to the plurality of image data is calculated, and three of the calculated plurality of partial regions of the object To specify the overall three-dimensional shape of the object by synthesizing the dimensional shape
Containing, three-dimensional measurement method.
KR1020200151162A 2019-11-12 2020-11-12 Three-dimensional measurement device and three-dimensional measurement method KR20210057698A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019204927A JP2021076531A (en) 2019-11-12 2019-11-12 Three-dimensional measuring device and three-dimensional measuring method
JPJP-P-2019-204927 2019-11-12

Publications (1)

Publication Number Publication Date
KR20210057698A true KR20210057698A (en) 2021-05-21

Family

ID=75898459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151162A KR20210057698A (en) 2019-11-12 2020-11-12 Three-dimensional measurement device and three-dimensional measurement method

Country Status (3)

Country Link
JP (1) JP2021076531A (en)
KR (1) KR20210057698A (en)
CN (1) CN112857259A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202296A (en) 2002-01-07 2003-07-18 Canon Inc Image input device, three-dimensional measuring device and three-dimensional image processing system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010029319B4 (en) * 2009-05-27 2015-07-02 Koh Young Technology Inc. Apparatus for measuring a three-dimensional shape and method thereto
JP5728699B2 (en) * 2010-03-01 2015-06-03 学校法人福岡工業大学 Surface inspection apparatus, surface inspection method, and surface inspection program
JP5818341B2 (en) * 2010-12-13 2015-11-18 国立大学法人 和歌山大学 Shape measuring apparatus and shape measuring method
JP5709009B2 (en) * 2011-11-17 2015-04-30 Ckd株式会社 3D measuring device
JP6320051B2 (en) * 2014-01-17 2018-05-09 キヤノン株式会社 3D shape measuring device, 3D shape measuring method
JP6357949B2 (en) * 2014-07-29 2018-07-18 セイコーエプソン株式会社 Control system, robot system, and control method
KR101659302B1 (en) * 2015-04-10 2016-09-23 주식회사 고영테크놀러지 Three-dimensional shape measurement apparatus
JP6823985B2 (en) * 2016-09-28 2021-02-03 Juki株式会社 3D shape measurement method and 3D shape measurement device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202296A (en) 2002-01-07 2003-07-18 Canon Inc Image input device, three-dimensional measuring device and three-dimensional image processing system

Also Published As

Publication number Publication date
JP2021076531A (en) 2021-05-20
CN112857259A (en) 2021-05-28

Similar Documents

Publication Publication Date Title
JP6823985B2 (en) 3D shape measurement method and 3D shape measurement device
KR101605386B1 (en) Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface
JP4744610B2 (en) 3D measuring device
TWI480832B (en) Reference image techniques for three-dimensional sensing
EP2813808B1 (en) Three-dimensional optical shape measuring apparatus
CA2801595C (en) Optical measurement method and measurement system for determining 3d coordinates on a measurement object surface
JP6109255B2 (en) 3D measuring device
KR20150107822A (en) Multi-camera sensor for three-dimensional imaging of a circuit board
US8976231B2 (en) Device for measuring three dimensional shape
KR101281454B1 (en) Inspection apparatus and compensating method thereof
US11257232B2 (en) Three-dimensional measurement method using feature amounts and device using the method
JP5957575B1 (en) 3D measuring device
JP5956296B2 (en) Shape measuring apparatus and shape measuring method
JP6932067B2 (en) Method for determining the position of the liquid crystal display element in the projection unit of the inspection device
JP2010151697A (en) Apparatus and method for three-dimensional shape measurement
KR20210057698A (en) Three-dimensional measurement device and three-dimensional measurement method
CN110174077B (en) 3-dimensional measuring device, electronic component mounting device, and 3-dimensional measuring method
KR101699816B1 (en) Illumination device and pattern inspection device
JP2006084286A (en) Three-dimensional measuring method and its measuring device
JP7369588B2 (en) Imaging equipment and imaging method
CN107923736B (en) Three-dimensional measuring device
JP2010210410A (en) Three-dimensional shape measuring device
JPWO2019058750A1 (en) Imaging system, imaging method and image sensor
JP2008170282A (en) Shape measuring device
KR20130022415A (en) Inspection apparatus and compensating method thereof

Legal Events

Date Code Title Description
A201 Request for examination