WO2015099211A1 - 3차원 카메라모듈 - Google Patents

3차원 카메라모듈 Download PDF

Info

Publication number
WO2015099211A1
WO2015099211A1 PCT/KR2013/012079 KR2013012079W WO2015099211A1 WO 2015099211 A1 WO2015099211 A1 WO 2015099211A1 KR 2013012079 W KR2013012079 W KR 2013012079W WO 2015099211 A1 WO2015099211 A1 WO 2015099211A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
unit
subject
optical element
reflected
Prior art date
Application number
PCT/KR2013/012079
Other languages
English (en)
French (fr)
Inventor
이창환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/107,853 priority Critical patent/US10085013B2/en
Priority to PCT/KR2013/012079 priority patent/WO2015099211A1/ko
Publication of WO2015099211A1 publication Critical patent/WO2015099211A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Definitions

  • the present invention relates to a 3D camera module for imaging the shape by the depth recognition of the object.
  • Conventional cameras use a method of obtaining depth information, which is three-dimensional information, using an image acquired using a two-dimensional image sensor. Recently, a laser beam is coated with a specific pattern onto an object, and a structure light method and a time of flight (TOF) method are used to measure depth by calculating a pattern shift amount of the reflected light and return the light directly to the object. The depth is measured by calculating the time of the reflected light.
  • TOF time of flight
  • this method has a disadvantage in that a variable method for increasing depth resolution is generally lacked by using a fixed focus lens and a passive coding device.
  • the method can be limited to the high price of the ToF-only sensor for calculating the time proportional to the distance of the reciprocating light and the high power consumption of the light-emitting modulation LED.
  • 3D cameras have been introduced to improve performance through image synthesis with existing 2D cameras.
  • a 2D camera and a 3D depth measurement IR camera are bundled, and an RGBIR camera that measures 2D image and 3D depth with one camera using an RGBIR sensor and one lens has been developed.
  • the RGBIR camera has a problem in that performance is degraded because RGB light enters crosstalk into the IR pixel and IR light enters crosstalk into the RGB pixel and acts as optical noise.
  • the technical problem of the present invention is to provide a 3D camera with improved resolution.
  • the three-dimensional depth camera module is to pass the laser and the light that emits light, to reach the subject with divergent light forming a predetermined pattern.
  • a transmitter including a diffractive optical element formed, a receiver configured to receive the light reflected from the subject, an analyzer configured to analyze a three-dimensional shape of the subject based on the degree of shift of the reflected light; And an operating part configured to move a part of the light transmitting part to change a position of a region of the subject to which the light reaches.
  • the operation part is formed to transfer the entire light transmitting part.
  • the transmitting unit may further include a lens unit for converting the light into parallel light and a mirror unit for reflecting the parallel light passing through the lens to the diffraction optical element, and the operation unit may be connected to the mirror unit. Connected to change the reflection direction of the light.
  • the mirror unit includes a plurality of digital micro-mirror device (DMD) devices, and the operation unit moves at least one of the DMD devices.
  • DMD digital micro-mirror device
  • the operation portion is formed to move the optical diffraction element.
  • the operation unit moves at least a portion of the light transmitting unit by a predetermined length, and the length is set to limit overlapping arrival of light in one region of the subject.
  • the diffractive optical element includes a plurality of spots formed at predetermined intervals, and the predetermined length is set smaller than the predetermined interval.
  • the camera sensor may further include a camera sensor configured to record light reflected from the subject based on a preset input signal, and an operation signal for activating the operation unit to move at least a part of the transmitting unit may include the input signal. It is output in synchronization with the signal.
  • the camera sensor includes an image processor which forms a color image using the light.
  • the operation unit according to the present invention may move at least one configuration of the light emitting unit to reach the maximum amount of light to different areas of the subject.
  • the resolution can be improved without increasing the number of spots through which light passes. Accordingly, the shape of the object can be more accurately predicted and output as an image of improved quality.
  • the camera module can more accurately perform depth recognition of a small object, and provide more detailed partial shapes included in one object.
  • FIG. 1 is a perspective view showing the appearance of a depth camera according to an embodiment of the present invention.
  • Figure 2a is a conceptual diagram for explaining the light emitting portion and the light receiving portion of the depth camera appearance of the present invention.
  • 2B is a conceptual diagram for explaining a diffractive optical element included in a light emitting unit.
  • 3A and 3B are conceptual views of a light emitting unit in which at least one configuration is formed to be movable.
  • 4A to 4E are conceptual views for explaining an increase in resolution according to the movement of the diffractive optical element.
  • FIG. 1 is a perspective view showing the appearance of a depth camera according to an embodiment of the present invention
  • Figure 2a is a conceptual diagram for explaining the light emitting portion and the light receiving portion of the depth camera appearance of the present invention
  • Figure 2b is a diffraction included in the light emitting portion It is a conceptual diagram for demonstrating an optical element.
  • Depth camera 100 is collected in the light emitting unit 100 for emitting light to the object (O), the light receiving unit 500 for receiving the light reflected by the object (O) and the light receiving unit 500 It includes an analysis unit (not shown) for analyzing the three-dimensional shape of the subject using light.
  • the depth camera 100 of the present invention irradiates light onto the subject O from the light emitter 500, calculates a shift amount of light reflected from the subject O, and then selects a part of the subject O. Analyze the depth of the area. That is, the light emitting unit 100 and the light receiving unit 500 are preferably spaced apart by a predetermined distance.
  • the light emitting unit 100 includes a laser unit 110 that emits divergent light as a light source unit, and a lens unit 120 that converts divergent light emitted from the laser 110 into parallel light.
  • the lens unit 120 may be formed of a collimator lens.
  • the light emitting unit 100 includes a diffraction optical element 130 for transforming the parallel light by the lens unit 120 into divergent light having a predetermined resolution.
  • FIG. 2B is an enlarged conceptual view of the diffractive optical element 130.
  • a circularly formed region is defined as a region (spot) through which diffracted light penetrates.
  • the diffractive optical element 130 is formed to have a predetermined number of spots.
  • the diffractive optical element 130 may include about 50,000 spots. This may correspond to about 4% of the entirety of the diffractive optical element 130.
  • the light passing through the diffractive optical element 130 reaches the object O with a preset resolution. That is, the depth of the subject O that can be determined based on the number of spots included in the diffractive optical element 130 is determined. As the size of spots formed in the diffractive optical element 130 having substantially the same size is smaller, the longer the distance to the subject O is, the accuracy of depth recognition of the subject O is reduced.
  • the light receiver 500 includes an image processor 520 including at least one lens 510 and an RGB filter.
  • the image processor 520 may generate a color image (or image) using the reached light.
  • At least one configuration included in the light emitting unit 100 is moved to increase an area of the subject to which the light reaches. That is, the light emitting part 100 is formed so that light passing through the diffractive optical element 130 reaches different regions.
  • 3A and 3B are conceptual views of a light emitting unit in which at least one configuration is formed to be movable.
  • the light emitting unit 100 includes an operation unit 300 for moving at least one configuration.
  • the direction in which the operating unit moves the at least one configuration corresponds to a direction perpendicular to the direction in which the light is emitted from the laser 110.
  • the operation unit 300 may move the at least one configuration in at least one of up, down, left, and right directions. Can be.
  • the operation unit 300 may be formed to move the entire light emitting unit 100.
  • the light emitting unit 100 may be formed to form one light emitting module, and the operation unit 300 may be formed in the light emitting module to move the light emitting module with respect to the light receiving unit 500. .
  • the operation unit 300 is synchronized with the image processing unit 520 to move the at least one configuration. That is, the operation of moving the configuration by the operation unit 300 and the signal input light by the light receiving unit 500 is synchronized with each other.
  • the area where the divergent light emitted from the light emitter 100 reaches the subject O also changes. Accordingly, light may be reflected from more areas and be incident on the light receiver 500. That is, the resolution for distinguishing the depth of the subject O is increased.
  • the operation unit 300 may move the light emitting unit 100 at a predetermined reference time interval. In addition, the operation unit 300 may be controlled to move the light emitting unit 100 at a predetermined reference interval.
  • the preset reference interval is preferably formed to be smaller than the distance between the spots. Accordingly, it is possible to prevent the light from reaching the area of the subject where the light reaches again, thereby improving the resolution.
  • the operation unit 300 may move at least one of the diffraction optical element 130 and the laser 110 based on a preset reference.
  • the diffractive optical element 130 moves, light is dispersed in a different pattern, so that the area where the light reaches the object O is changed.
  • the laser 110 which is the light source, moves, light reaches and passes through another area of the diffractive optical element 130, thereby substantially producing the same effect as moving the rotating optical element 130.
  • the light emitting unit 101 illustrated in FIG. 3B may include a mirror unit 140 that changes the movement path of the light.
  • the mirror unit 141 is disposed in a path of light to reflect the light to reach the diffractive optical element 130.
  • the mirror unit 140 may include a plurality of digital micro-mirror device (DMD) devices.
  • DMD digital micro-mirror device
  • the operation unit 300 may be mounted to the mirror unit 140 to move the mirror unit 140.
  • the operation unit 300 may change the direction in which the light is reflected by adjusting the angle of the mirror unit 140.
  • the operation unit 300 may rotate or move the prism.
  • the operation unit 300 may be mounted on at least one of the plurality of DMD elements.
  • the operation unit 300 may be mounted in a plurality of configurations to change the path of the light. As a result, the distinguished area of the subject to which light reaches increases, and the resolution for detecting the depth increases.
  • FIG. 4A to 4E are conceptual views for explaining an increase in resolution according to the movement of the diffractive optical element.
  • the light emitting unit, the light receiving unit, and FIG. 4A correspond to a case where the diffractive optical element is not moved.
  • the area indicated by the bright part corresponds to an area in which parallel light emitted from the laser is dispersed and passed through to reach the subject. That is, the scattered light arrives at areas spaced apart from each other in the subject O.
  • 4B illustrates a case in which the diffractive optical element 130 is moved upward with respect to the laser 110. Due to the movement of the diffractive optical element 130, parallel light emitted from the laser 110 may reach another region of the object O.
  • light may reach the region A of the subject O, and light may not reach the image B region.
  • the light receiving unit may receive light reflected from the area A, and detect a depth and a shape of the area A by analyzing a shift of the light.
  • the shape of the subject O derived in the case of FIG. 4A and the subject derived in the case of FIG. By comparing the shapes of O), the depth of each domain of the subject can be finally calculated, and the shapes can be analyzed.
  • FIG. 4C illustrates a state in which the diffractive optical element 130 is moved downward in the state of FIG. 4A.
  • This case describes a case where light still does not reach both the A and B regions.
  • shape analysis of the A and B regions is impossible.
  • the analysis unit (not shown) predicts the shape of the A and B regions by using light reaching the other region.
  • FIG. 4D illustrates a state in which the diffractive optical element 130 is moved in the right direction in the state of FIG. 4A.
  • light reaches the A and B areas
  • the light receiving unit 500 receives the light reflected from the A and B areas
  • the analyzer calculates the depth of the A and B areas based on the light.
  • the shape between A and B can be predicted.
  • FIG. 4E illustrates a state in which the diffractive optical element 130 is moved in the left direction in the state of FIG. 4A.
  • FIG. 4C the case where the light still does not reach both the A region and the B region will be described.
  • the operation unit may move at least one configuration of the light emitting unit to reach the maximum amount of light to different areas of the subject.
  • the resolution can be improved without increasing the number of spots through which light passes. Accordingly, the shape of the object can be more accurately predicted and output as an image of improved quality.
  • the camera module 1000 may more accurately perform depth recognition of a small object, and provide more detailed partial shapes included in one object.
  • the above-described 3D depth recognition camera module may not be limitedly applied to the configuration and method of the above-described embodiments, but the embodiments may be selectively combined with each or all of the embodiments so that various modifications may be made. It may be configured.
  • the present invention can be used in various industries using a three-dimensional camera that recognizes the shape of an object and provides a three-dimensional image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 광을 방출하는 레이저와 상기 빛이 통과되고, 기 설정된 패턴을 이루는 발산광으로 상기 피사체에 도달하도록 형성되는 회절광학소자를 포함하는 송광부, 상기 피사체로부터 반사된 상기 빛을 수광하도록 형성되는 수광부, 상기 반사된 빛이 쉬프트(shift)된 정도에 근거하여 피사체의 3차원 형상을 분석하는 분석부 및 상기 빛이 도달하는 상기 피사체의 일 영역의 위치를 위치를 변경하기 위하여 상기 송광부 중 일부를 움직이도록 형성되는 작동부를 포함하는 3차원 깊이 카메라 모듈을 제공한다.

Description

3차원 카메라모듈
본 발명은 객체의 깊이 인식에 의하여 형상을 이미지화 하는 3D 카메라 모듈에 관한 것이다.
종래의 카메라는 2차원 이미지 센서를 사용하여 획득된 영상을 이용하여 3차원 정보인 깊이(depth)정보를 얻는 방법을 이용하였다. 최근에는 특정패턴이 코딩된 레이저광을 물체에 조사하고, 되돌아오는 반사광의 패턴 shift 량을 계산함으로써 depth를 측정하는 구조광 방식, TOF (Time of flight) 방식으로 물체에 직접적으로 빛을 조사하고 되돌아오는 반사광의 시간을 계산함으로써 depth를 측정하는 방식을 이용한다.
다만, 첫째 방식은 레이저 광원을 사용하고 코딩된 반사광을 받아들이는 송광부와 수광부의 물리적인 크기로 인하여 소형화에 제약이 따르고, 이로 인하여 모바일 제품에의 응용이 어려운 단점이 있다. 또한, 이 방식은 일반적으로 고정초점 렌즈와 passive 코딩소자를 사용함으로써 depth해상도를 높이기 위한 가변적인 방안이 결여된 단점이 있다.
한편, 방식은 왕복광의 거리에 비례하는 시간을 계산하는 ToF 전용 센서의 비싼 가격과 밝기 변조되는 발광 LED의 높은 파워 소비로 제한적으로 사용할 수 있는 문제점이 있다.
최근에는 3D카메라가 나오면서 기존의 2D 카메라와의 영상합성을 통한 성능향상을 도모하고 있다. 예를 들어, 2D카메라와 3D depth 측정용 IR카메라를 묶어 RGBIR센서와 1개의 렌즈를 사용하여 1개의 카메라로 2D영상과 3D depth를 측정하는 RGBIR카메라가 개발되고 있다.
하지만 RGBIR카메라는 IR픽셀에 RGB광이 크로스토크(crosstalk)로 들어오고 RGB픽셀에 IR광이 크로스토크(crosstalk)로 들어와 광노이즈로 작용하여 성능이 저하되는 문제가 있다.
이에 본 발명의 기술적 과제는 해상도가 향상된 3D 카메라를 제공하는 것에 있다.
이와 같은 본 발명의 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 3차원 깊이 카메라 모듈은 광을 방출하는 레이저와 상기 빛이 통과되고, 기 설정된 패턴을 이루는 발산광으로 상기 피사체에 도달하도록 형성되는 회절광학소자를 포함하는 송광부, 상기 피사체로부터 반사된 상기 빛을 수광하도록 형성되는 수광부, 상기 반사된 빛이 쉬프트(shift)된 정도에 근거하여 피사체의 3차원 형상을 분석하는 분석부 및 상기 빛이 도달하는 상기 피사체의 일 영역의 위치를 위치를 변경하기 위하여 상기 송광부 중 일부를 움직이도록 형성되는 작동부를 포함한다.
본 발명과 관련된 일 예로서, 상기 작동부는 상기 송광부 전체를 이송시키도록 형성된다.
본 발명과 관련된 일 예로서, 상기 송광부는 상기 빛을 평행광으로 변경하는 렌즈부 및 상기 렌즈를 통과한 평행광을 상기 회절광학소자로 반사시키는 거울부을 더 포함하고, 상기 작동부는 상기 거울부와 연결되어 상기 빛의 반사 방향을 변경한다.
본 발명과 관련된 일 예로서 상기 거울부는 복수의 DMD(Digital Micro-mirror Device)소자를 포함하고, 상기 작동부는 상기 DMD 소자 중 적어도 하나의 위치를 이동시킨다.
본 발명과 관련된 일 예로서, 상기 작동부는 상기 광학회절소자를 이동시키도록 형성된다.
본 발명과 관련된 일 예로서, 상기 작동부는 기 설정된 길이만큼 상기 송광부의 적어도 일부를 이동 시키고, 상기 길이는, 상기 피사체의 일 영역에 빛의 중복적인 도달을 제한하도록 설정된다.
본 발명과 관련된 일 예로서, 상기 회절광학소자는 기 설정된 간격을 이루며 형성되는 복수의 스팟(spot)을 포함하고, 상기 기 설정된 길이는 상기 기 설정된 간격보다 작게 설정된다.
본 발명과 관련된 일 예로서, 기 설정된 입력신호에 근거하여 상기 피사체로부터 반사된 빛을 기록하는 카메라 센서를 더 포함하고, 상기 송광부의 적어도 일부를 이동시키기 위하여 상기 작동부를 활성화시키는 동작신호는 상기 입력신호와 동기화되어 출력된다.
본 발명과 관련된 일 예로서, 상기 카메라 센서는 상기 빛을 이용하여 컬러이미지를 형성하는 이미지 처리부를 포함한다.
본 발명에 따른 작동부는 상기 피사체의 서로 다른 영역에 빛이 최대한 많이 도달할 수 있도록 상기 발광부의 적어도 하나의 구성을 이동시킬 수 있다.
이에 의하여, 빛이 통과하는 스팟 수를 늘릴 필요없이 해상도를 향상시킬 수 있다. 이에 따라 보다 정확하게 물체의 형상을 예측하고, 향상된 품질의 이미지로 출력할 수 있다.
이에 따라, 상기 카메라 모듈은 작은 물체의 깊이 인식을 보다 정확하게 수행할 수 있고, 하나의 물체에 포함되는 부분적인 형상을 보다 세밀하게 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 깊이 카메라의 외관을 나타내는 사시도.
도 2a는 본 발명의 깊이 카메라 외관의 발광부 및 수광부를 설명하기 위한 개념도.
도 2b는 발광부에 포함되는 회절광학소자를 설명하기 위한 개념도.
도 3a 및 도 3b는 적어도 하나의 구성이 이동가능하도록 형성되는 발광부의 개념도.
도 4a 내지 도 4e는 회절광학소자의 이동에 따른 해상도 증가를 설명하기 위한 개념도.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 일 실시예에 따른 깊이 카메라의 외관을 나타내는 사시도이고, 도 2a는 본 발명의 깊이 카메라 외관의 발광부 및 수광부를 설명하기 위한 개념도이며, 도 2b는 발광부에 포함되는 회절광학소자를 설명하기 위한 개념도이다.
본 발명에 따른 깊이 카메라(100)은 피사체(O)로 빛을 발광하는 발광부(100), 상기 피사체(O)에 의하여 반사된 빛을 수광하는 수광부(500) 및 상기 수광부(500)에 모아진 빛을 이용하여 피사체의 3차원 형상을 분석하는 분석부(미도시)를 포함한다. 본 발명의 깊이 카메라(100)는 발광부(500)로부터 피사체(O)에 빛을 조사하고, 상기 피사체(O)에서 반사되는 빛의 쉬프트(shift)량을 계산하여 상기 피사체(O)의 일부 영역의 깊이(depth)를 분석한다. 즉, 상기 발광부(100)와 상기 수광부(500)는 기 설정된 거리만큼 이격되어 배치되는 것이 바람직하다.
상기 발광부(100)는 광원부로서 발산광을 방출하는 레이저(110), 상기 레이저(110)로부터 나온 발산광을 평행광으로 전환하는 렌즈부(120)를 포함한다. 상기 렌즈부(120)는 콜리메이터 렌즈(collimator lens)로 이루어질 수 있다.
또한, 상기 발광부(100)는 상기 렌즈부(120)에 의한 평행광을 기 설정된 해상도를 갖는 발산광으로 변형시키는 회절광학소자(130)를 포함한다.
도 2b는 회절광학소자(130)를 확대한 개념도이다. 동그랗게 형성된 영역을 회절된 빛이 관통하는 영역(스팟)으로 정의한다. 상기 회절광학소자(130)는 기 설정된 수의 스팟(spot)을 갖도록 형성된다. 예를 들어, 상기 회절광학소자(130)는 약 5만개의 스팟(spot)을 포함할 수 있다. 이는 상기 회절광학소자(130) 전체의 약 4%영역에 해당될 수 있다.
상기 회절광학소자(130)를 통과한 빛은 기 설정된 해상도를 가지고 상기 피사체(O)에 도달한다. 즉, 상기 회절광학소자(130)에 포함되는 스팟(spot)의 개수에 근거하여 판별할 수 있는 피사체(O)의 깊이(depth)가 결정된다. 실질적으로 동일한 크기의 회절광학소자(130)에 형성되는 스팟(spot)의 크기가 작을수록, 피사체(O)까지의 거리가 길어질수록 피사체(O)의 깊이 인식의 정확도는 감소되게 된다.
한편, 상기 수광부(500)는 적어도 하나의 렌즈(510) 및 RGB필터를 포함하는 이미지 처리부(520)를 구비한다. 상기 이미지 처리부(520)에 의하여 상기 도달된 빛을 이용한 컬러이미지(또는 영상)이 생성될 수 있다.
본 발명에 따르면, 상기 발광부(100)에 포함되는 적어도 하나의 구성을 이동시켜, 상기 빛이 도달하는 피사체의 일 영역을 증가시킨다. 즉, 상기 발광부(100)는 상기 회절광학소자(130)를 통과하는 빛이 서로 다른 영역에 도달하도록 형성된다.
도 3a 및 도 3b는 적어도 하나의 구성이 이동가능하도록 형성되는 발광부의 개념도이다. 도 3a를 참조하면, 상기 발광부(100)는 적어도 하나의 구성을 이동시키는 작동부(300)를 포함한다.
여기에서 상기 작동부가 상기 적어도 하나의 구성을 이동 시키는 방향은 상기 레이저(110)로부터 상기 빛이 방출되는 방향과 수직한 방향에 해당된다. 예를 들어, 상기 레이저(110)가 상기 피사체(O)를 향하여 빛을 전방으로 조사한다면, 상기 작동부(300)는 상기 적어도 하나의 구성을 상하, 좌우, 대각선 중 적어도 하나의 방향으로 이동시킬 수 있다.
먼저, 상기 작동부(300)는 상기 발광부(100) 전체를 이동시키도록 형성될 수 있다. 예를 들어, 상기 발광부(100)가 하나의 발광모듈을 이루도록 형성되고, 상기 작동부(300)는 상기 발광모듈에 형성되어, 상기 수광부(500)를 기준으로 상기 발광모듈을 이동시킬 수 있다.
한편, 상기 작동부(300)는 상기 적어도 하나의 구성을 이동시키기 위하여 상기 이미지 처리부(520)와 동기화된다. 즉, 상기 작동부(300)에 의하여 구성이 이동되는 동작과 상기 수광부(500)에 의하여 빛이 입력되는 신호가 서로 동기화된다.
상기 작동부(300)에 의하여 발광부(100) 자체가 이동하면, 상기 발광부(100)로부터 방출되는 발산광이 상기 피사체(O)에 도달하는 영역도 변하게 된다. 이에 따라, 보다 많은 영역으로부터 빛이 반사되어 상기 수광부(500)에 입사할 수 있다. 즉, 상기 피사체(O)의 깊이를 구별하기 위한 해상도가 증가하게 된다.
도면에 구체적으로 도시되지 아니하였으나, 상기 작동부(300)는 기 설정된 기준시간 간격으로 상기 발광부(100)를 이동시킬 수 있다. 또한, 상기 작동부(300)는 기 설정된 기준간격으로 상기 발광부(100)를 이동시키도록 제어될 수 있다.
예를 들어, 상기 기 설정된 기준간격은 상기 스팟(spot)사이의 거리보다 작도록 형성되는 것이 바람직하다. 이에 따라, 상기 빛이 도달한 피사체의 일 영역에 다시 빛이 도달되는 것을 방지할 수 있으며, 이에 의하여 해상도를 향상시킬 수 있다.
또는 상기 작동부(300)는 상기 회절광학소자(130) 및 상기 레이저(110) 중 적어도 하나를 기 설정된 기준에 근거하여 이동시킬 수 있다. 상기 회절광학소자(130)가 이동하면 빛이 다른 패턴으로 분산되므로, 빛이 피사체(O)에 도달하는 영역이 달라진다. 또한, 상기 광원인 레이저(110)가 이동되면, 상기 회절광학소자(130)의 다른 영역에 빛이 도달 및 통과하게 되므로 상기 회전광학소자(130)를 이동시키는 것과 실질적으로 동일한 효과가 발생된다.
한편, 도 3b에 도시되어 있는 발광부(101)는 상기 빛의 이동 경로를 바꾸어주는 거울부(140)를 포함할 수 있다. 상기 거울부(141)는 빛의 이동 경로에 배치되어 상기 회절광학소자(130)에 빛이 도달하도록 상기 빛을 반사시킨다. 상기 거울부(140)는 복수의 DMD(Digital Micro-mirror Device)소자로 이루어질 수 있다.
상기 작동부(300)는 상기 거울부(140)에 장착되어 상기 거울부(140)를 이동시킬 수 있다. 예를 들어, 상기 작동부(300)는 상기 거울부(140)의 각도를 조절하여 상기 빛이 반사되는 방향을 전환시킬 수 있다.
또한, 도면에 도시되지 아니하였으나, 상기 카메라 모듈이 프리즘을 포함한다면, 상기 작동부(300)는 상기 프리즘을 회전시키거나 이동시킬 수 있다.
상기 작동부(300)는 상기 복수의 DMD소자 중 적어도 하나에 장착될 수 있다.
상기 작동부(300)는 복수의 구성에 장착되어 상기 빛의 경로를 변경할 수 있다. 이에 따라, 빛이 도달하는 상기 피사체의 구별되는 영역이 증가하고, 깊이를 감지하기 위한 해상도가 증가한다.
이하, 도면을 참조하여 상기 회절광학소자(130)가 이동하는 경우를 일 예로서 설명한다.
도 4a 내지 도 4e는 회절광학소자의 이동에 따른 해상도 증가를 설명하기 위한 개념도이다. 각 도면에 도시되어 있지 아니하나, 상기 발광부와 상기 수광부 및 도 4a는 회절광학소자를 이동시키지 않을 경우에 해당된다. 밝은 부분으로 표시된 영역이, 레이저에서 방출된 평행광이 분산되어 통과하여 피사체에 도달하는 영역에 해당된다. 즉, 상기 피사체(O)의 서로 이격된 영역에 상기 분산된 빛이 도달한다.
예를 들어, 상기 피사체(O)의 A 및 B영역에는 빛이 도달하지 아니한다. 따라서, 상기 A 및 B 영역에서 반사되는 빛을 수광할 수 없으며, 상기 A 및 B영역을 인식할 수 없다.
도 4b는 상기 회절광학소자(130)을 상기 레이저(110)를 기준으로 위쪽방향으로 이동시킨 경우를 도시한다. 상기 회절광학소자(130)의 이동으로 인하여, 상기 레이저(110)에서 방출된 평행광은 상기 피사체(O)의 다른 영역에 도달할 수 있다.
예를 들어, 상기 피사체(O)의 A영역에 빛이 도달하고, 상 B영역에는 빛이 여전히 도달하지 않을 수 있다. 이에 의하여 상기 수광부는 상기 A영역에서 반사된 빛을 수광하고, 빛의 쉬프트(shift)를 분석하여 상기 A영역의 깊이 및 형상을 감지할 수 있다.
상기 빛이 도달하는 상기 피사체(O)상의 영역이 변경됨에 따라, 상기 분석부(미도시) 상기 도 4a 경우에서 도출된 상기 피사체(O)의 형상과 상기 도 4b의 경우에서 도출된 상기 피사체(O)의 형상을 비교 하여 최종적으로 피사체의 각 영영의 깊이를 산출하고, 형상을 분석할 수 있다.
도 4c는 도 4a의 상태에서 상기 회절광학소자(130)를 아래방향으로 이동시킨 상태를 도시한다. 이 경우는 A영역 및 B영역 모두에 빛이 여전히 도달하지 못하는 경우를 설명한다. 이 경우, 상기 A 및 B영역에 대한 형상분석은 불가능하다. 다만, 상기 분석부(미도시)는 다른 영역으로 도달한 빛을 이용하여 상기 A 및 B 영역의 형상의 예측한다.
도 4d는 도 4a의 상태에서 상기 회절광학소자(130)를 오른쪽 방향으로 이동시킨 상태를 도시한다. 이 경우, 상기 A 및 B영역에 빛이 도달하며, 상기 수광부(500)는 상기 A, B영역으로부터 반사된 빛을 수광하고, 상기 분석부는 상기 빛을 근거로 상기 A, B영역의 깊이를 산출하고, 상기 A 및 B를 사이의 형상을 예측할 수 있다.
도 4e는 도 4a의 상태에서 상기 회절광학소자(130)를 왼쪽 방향으로 이동시킨 상태를 도시한다. 이 경우는 도 4c에서 도시된 바와 같이, 상기 A영역 및 B영역 모두에 빛이 여전히 도달하지 못하는 경우를 설명한다.
이와 같이, 상기 작동부는 상기 피사체의 서로 다른 영역에 빛이 최대한 많이 도달할 수 있도록 상기 발광부의 적어도 하나의 구성을 이동시킬 수 있다.
이에 의하여, 빛이 통과하는 스팟 수를 늘릴 필요없이 해상도를 향상시킬 수 있다. 이에 따라 보다 정확하게 물체의 형상을 예측하고, 향상된 품질의 이미지로 출력할 수 있다.
이에 따라, 상기 카메라 모듈(1000)은 작은 물체의 깊이 인식을 보다 정확하게 수행할 수 있고, 하나의 물체에 포함되는 부분적인 형상을 보다 세밀하게 제공할 수 있다.
상기와 같이 설명된 3D 깊이 인식 카메라 모듈은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명은 물체의 형상을 인식하고 3차원 이미지를 제공하는 3차원 카메라를 이용하는 다양한 산업분야에 이용될 수 있다.

Claims (9)

  1. 광을 방출하는 레이저와 상기 빛이 통과되고, 기 설정된 패턴을 이루는 발산광으로 상기 피사체에 도달하도록 형성되는 회절광학소자를 포함하는 송광부;
    상기 피사체로부터 반사된 상기 빛을 수광하도록 형성되는 수광부;
    상기 반사된 빛이 쉬프트(shift)된 정도에 근거하여 피사체의 3차원 형상을 분석하는 분석부; 및
    상기 빛이 도달하는 상기 피사체의 일 영역의 위치를 위치를 변경하기 위하여 상기 송광부 중 일부를 움직이도록 형성되는 작동부를 포함하는 3차원 깊이 카메라 모듈.
  2. 제1항에 있어서,
    상기 작동부는 상기 송광부 전체를 이송시키는 것을 특징으로 하는 3차원 깊이 카메라 모듈.
  3. 제1항에 있어서,
    상기 송광부는 상기 빛을 평행광으로 변경하는 렌즈부;
    상기 렌즈를 통과한 평행광을 상기 회절광학소자로 반사시키는 거울부을 더 포함하고,
    상기 작동부는 상기 거울부와 연결되어 상기 빛의 반사 방향을 변경하는 것을 특징으로 하는 3차원 깊이 카메라 모듈.
  4. 제3항에 있어서,
    상기 거울부는 복수의 DMD(Digital Micro-mirror Device)소자를 포함하고,
    상기 작동부는 상기 DMD 소자 중 적어도 하나의 위치를 이동시키는 것을 특징으로 하는 3차원 깊이 카메라 모듈.
  5. 제1항에 있어서,
    상기 작동부는 상기 광학회절소자를 이동시키도록 형성되는 것을 특징으로 하는 3차원 깊이 카메라 모듈.
  6. 제1항에 있어서,
    상기 작동부는 기 설정된 길이만큼 상기 송광부의 적어도 일부를 이동 시키고,
    상기 길이는, 상기 피사체의 일 영역에 빛의 중복적인 도달을 제한하도록 설정되는 것을 특징으로 하는 3차원 깊이 카메라 모듈.
  7. 제6항에 있어서,
    상기 회절광학소자는 기 설정된 간격을 이루며 형성되는 복수의 스팟(spot)을 포함하고,
    상기 기 설정된 길이는 상기 기 설정된 간격보다 작은 것을 특징으로 하는 3차원 깊이 카메라 모듈.
  8. 제1항에 있어서,
    기 설정된 입력신호에 근거하여 상기 피사체로부터 반사된 빛을 기록하는 카메라 센서를 더 포함하고,
    상기 송광부의 적어도 일부를 이동시키기 위하여 상기 작동부를 활성화시키는 동작신호는 상기 입력신호와 동기화되어 출력되는 것을 특징으로 하는 3차원 깊이 카메라 모듈.
  9. 제1항에 있어서,
    상기 카메라 센서는 상기 빛을 이용하여 컬러이미지를 형성하는 이미지 처리부를 포함하는 것을 특징으로 하는 3차원 깊이 카메라 모듈.
PCT/KR2013/012079 2013-12-24 2013-12-24 3차원 카메라모듈 WO2015099211A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/107,853 US10085013B2 (en) 2013-12-24 2013-12-24 3D camera module
PCT/KR2013/012079 WO2015099211A1 (ko) 2013-12-24 2013-12-24 3차원 카메라모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/012079 WO2015099211A1 (ko) 2013-12-24 2013-12-24 3차원 카메라모듈

Publications (1)

Publication Number Publication Date
WO2015099211A1 true WO2015099211A1 (ko) 2015-07-02

Family

ID=53479045

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/012079 WO2015099211A1 (ko) 2013-12-24 2013-12-24 3차원 카메라모듈

Country Status (2)

Country Link
US (1) US10085013B2 (ko)
WO (1) WO2015099211A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109974611A (zh) * 2019-03-23 2019-07-05 柳州阜民科技有限公司 深度检测***及其支架和电子装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824888B1 (en) * 2017-01-19 2020-11-03 State Farm Mutual Automobile Insurance Company Imaging analysis technology to assess movements of vehicle occupants
CN108319034B (zh) * 2018-02-27 2020-08-14 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
CN108344376A (zh) 2018-03-12 2018-07-31 广东欧珀移动通信有限公司 激光投射模组、深度相机和电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050026949A (ko) * 2005-02-16 2005-03-16 이석한 적외선 플래시 방식의 능동형 3차원 거리 영상 측정 장치
KR20100043970A (ko) * 2008-10-21 2010-04-29 삼성전기주식회사 거리 측정 장치
US20100118123A1 (en) * 2007-04-02 2010-05-13 Prime Sense Ltd Depth mapping using projected patterns
KR20120109722A (ko) * 2011-03-25 2012-10-09 엘지전자 주식회사 회절 소자와 광원을 이용한 대상물의 거리 인식 장치
KR101341620B1 (ko) * 2012-06-14 2013-12-13 전자부품연구원 3차원 형상 측정 시스템 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631842B1 (en) * 2000-06-07 2003-10-14 Metrologic Instruments, Inc. Method of and system for producing images of objects using planar laser illumination beams and image detection arrays
JP4113390B2 (ja) * 2002-08-01 2008-07-09 株式会社ニデック レーザ照射装置
JP4447970B2 (ja) * 2004-06-14 2010-04-07 キヤノン株式会社 物体情報生成装置および撮像装置
JP5513101B2 (ja) * 2009-12-25 2014-06-04 株式会社トプコン 光画像計測装置
JP5394317B2 (ja) * 2010-05-17 2014-01-22 富士フイルム株式会社 回転対称非球面形状測定装置
US8848200B2 (en) * 2011-10-05 2014-09-30 Daniel Feldkhun Systems and methods for suppressing coherent structured illumination artifacts
DE102012009836A1 (de) * 2012-05-16 2013-11-21 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zur Bildaufnahme mit einem Lichtmikroskop
US20140028799A1 (en) * 2012-07-25 2014-01-30 James Kuffner Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050026949A (ko) * 2005-02-16 2005-03-16 이석한 적외선 플래시 방식의 능동형 3차원 거리 영상 측정 장치
US20100118123A1 (en) * 2007-04-02 2010-05-13 Prime Sense Ltd Depth mapping using projected patterns
KR20100043970A (ko) * 2008-10-21 2010-04-29 삼성전기주식회사 거리 측정 장치
KR20120109722A (ko) * 2011-03-25 2012-10-09 엘지전자 주식회사 회절 소자와 광원을 이용한 대상물의 거리 인식 장치
KR101341620B1 (ko) * 2012-06-14 2013-12-13 전자부품연구원 3차원 형상 측정 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109974611A (zh) * 2019-03-23 2019-07-05 柳州阜民科技有限公司 深度检测***及其支架和电子装置

Also Published As

Publication number Publication date
US10085013B2 (en) 2018-09-25
US20160337633A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
US7274461B2 (en) Optical lens system and position measurement system using the same
US7557935B2 (en) Optical coordinate input device comprising few elements
WO2015099211A1 (ko) 3차원 카메라모듈
US20070002020A1 (en) Optical mouse
CN108957425B (zh) 用于LiDAR测光***的模拟设备
US6907672B2 (en) System and method for measuring three-dimensional objects using displacements of elongate measuring members
KR102483462B1 (ko) ToF 모듈
WO2017077276A1 (en) Systems and methods for forming models of three dimensional objects
CN104215200A (zh) 利用多波长进行表面同步三维测量的装置及方法
WO2010137843A2 (ko) 적외선 스캔 방식의 터치스크린 장치
US5760815A (en) Fiber optic registration mark detection system for a color reproduction device
US6369879B1 (en) Method and apparatus for determining the coordinates of an object
CN202915911U (zh) 一种用于测距的拍摄装置
TWI666422B (zh) 一種位移偵測裝置及物體位移的測量方法
JP2007327966A (ja) 光源モジュールおよびこれを用いた位置計測システム
CN102063228B (zh) 光学侦测***及应用该光学侦测***的触摸屏
CN106303145A (zh) 图像读取装置
CN208509062U (zh) 图像传感器和深度数据测量头
US11841433B2 (en) Method and apparatus for determining at least one spatial position and orientation of at least one tracked measuring device
US10876828B2 (en) Tracking system and optical measuring system for determining at least one spatial position and orientation of at least one measurement object
JP2019526089A (ja) マルチファンクションセンシングシステム
JP2004053532A (ja) 光学的形状測定装置
WO2018088827A1 (ko) 3차원 형상 측정 장치 및 측정 방법
KR20180046374A (ko) 삼각 측량 측정을 위한 측정 장치 및 방법
CN103398672A (zh) 一种光纤传导光敏阵列

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13900371

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15107853

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13900371

Country of ref document: EP

Kind code of ref document: A1