KR20170094968A - Member for measuring depth between camera module, and object and camera module having the same - Google Patents

Member for measuring depth between camera module, and object and camera module having the same Download PDF

Info

Publication number
KR20170094968A
KR20170094968A KR1020160016354A KR20160016354A KR20170094968A KR 20170094968 A KR20170094968 A KR 20170094968A KR 1020160016354 A KR1020160016354 A KR 1020160016354A KR 20160016354 A KR20160016354 A KR 20160016354A KR 20170094968 A KR20170094968 A KR 20170094968A
Authority
KR
South Korea
Prior art keywords
infrared
image
subject
ray
visible light
Prior art date
Application number
KR1020160016354A
Other languages
Korean (ko)
Inventor
박강열
강보라
김민
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020160016354A priority Critical patent/KR20170094968A/en
Publication of KR20170094968A publication Critical patent/KR20170094968A/en

Links

Images

Classifications

    • H04N5/23212—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H04N5/2258—

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

A camera module includes: a lens holder in which a receiving space is formed; at least one lens arranged in the receiving space of the lens holder; a subject distance measuring member arranged in the receiving space for extracting distance information of a subject and forming a patterning infrared ray by filtering a part of the infrared ray of a visible ray and the infrared ray provided to the receiving space; and an image sensor module including an image sensor including RGB pixels for generating a color image using the visible ray and infrared pixels for generating an infrared image for extracting the distance information using the patterning infrared ray. Accordingly, the present invention can implement a 3D image with a very small size without the quality degradation of the image.

Description

피사체 거리 측정 부재, 이를 갖는 카메라 모듈{MEMBER FOR MEASURING DEPTH BETWEEN CAMERA MODULE, AND OBJECT AND CAMERA MODULE HAVING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a camera module having a subject distance measuring member,

본 발명은 피사체 거리 측정 부재, 이를 갖는 카메라 모듈에 관한 것이다.
The present invention relates to a subject distance measuring member and a camera module having the same.

최근 들어, 차량의 주행 중 주행 상태 녹화 및 주차 편의성을 위한 차량용 카메라 모듈, 스마트폰과 같은 휴대용 정보 처리기기에 장착되어 이미지 또는 동영상을 촬영하는 카메라 모듈, CCTV 등에 사용되는 카메라 모듈과 같이 다양한 산업 분야에서 카메라 모듈이 사용되고 있다.2. Description of the Related Art [0002] Recently, there has been a demand for a camera module for photographing an image or a moving image mounted on a portable information processing device such as a camera module for a vehicle or a smart phone, A camera module is used.

일반적으로 카메라 모듈은 2차원 이미지 또는 동영상을 획득할 수 있으나, 최근에는 카메라 모듈의 이미지 센서로부터 획득한 2차원 이미지에 피사체와 카메라 사이의 거리(depth) 정보를 추가하여 3차원 이미지를 구현하기 위한 기술 개발이 진행되고 있다.In general, a camera module can acquire a two-dimensional image or a moving image. However, in recent years, in order to implement a three-dimensional image by adding depth information between a subject and a camera to a two-dimensional image acquired from an image sensor of a camera module Technology development is proceeding.

3차원 이미지를 획득하기 위해서는 레이저 스캐너 등을 사용하여 카메라 및 피사체(object) 사이의 거리를 예측할 수 있으나, 이 방법은 별도의 광원이 요구되며, 광원에 의하여 이미지의 품질이 감소 되며 레이저 스캐너에 의하여 카메라 모듈의 사이즈가 크게 증가 되는 단점을 갖는다.In order to acquire a three-dimensional image, a distance between the camera and the object can be predicted using a laser scanner or the like. However, this method requires a separate light source, the quality of the image is reduced by the light source, The size of the camera module is greatly increased.

3차원 이미지를 획득하기 위해서는 2대의 카메라를 사용하는 스테레오 카메라 방식이 있으나 3차원 이미지를 획득하기 위하여 2대의 카메라를 사용할 경우 역시 카메라 모듈의 사이즈가 크게 증가 되고 제조 비용이 크게 상승 되는 단점을 갖는다.In order to acquire a three-dimensional image, there is a stereo camera method using two cameras. However, when two cameras are used to acquire a three-dimensional image, the size of the camera module is greatly increased and the manufacturing cost is greatly increased.

종래에는 3차원 이미지를 구현하기 위하여 별도의 장치를 사용해야 하기 때문에 사이즈가 크게 증가 되고, 사이즈 증가로 인해 소형 전자 제품인 차량용 카메라, 스마트폰 카메라 등에서는 3차원 이미지를 구현하기 매우 어려운 문제점을 갖는다.
Conventionally, a separate device has to be used to realize a three-dimensional image. Therefore, the size of the camera is greatly increased. In addition, it is very difficult to realize a three-dimensional image in a car camera or a smartphone camera.

본 발명은 피사체로부터 반사되어 이미지 센서로 입사된 가시광선을 이용하여 피사체의 고품질 이미지를 획득하고, 적외선을 이용하여 피사체와 이루는 거리 정보를 획득함으로써 이미지의 품질 저하 없이 매우 작은 사이즈로 3차원 이미지를 구현할 수 있는 피사체 거리 측정 부재, 이를 갖는 카메라 모듈 및 카메라 모듈을 제공한다.The present invention obtains a high-quality image of a subject by using a visible light reflected from a subject and inputted to an image sensor, and acquires distance information with a subject by using infrared rays, thereby obtaining a three- A camera module and a camera module having the object distance measuring member.

본 발명은 가시광선을 이용하여 이미지를 생성하고, 적외선의 일부를 필터링하여 패터닝 적외선을 형성한 후 패터닝 적외선을 이용하여 적외선 이미지를 생성한 후 적외선 이미지로부터 거리 정보를 추출하여 3차원 이미지를 구현할 수 있는 피사체 거리 측정 부재, 이를 갖는 카메라 모듈을 제공한다.In the present invention, an image is generated using visible light, a patterning infrared ray is formed by filtering a part of infrared rays, an infrared image is generated using patterning infrared rays, and a three-dimensional image can be implemented by extracting distance information from an infrared ray image And a camera module having the object distance measuring member.

본 발명은 하나의 이미지 센서를 이용하여 3차원 이미지를 구현할 수 있으며, 피사체와의 거리 정보를 이용하여 피사체의 이미지의 품질을 보정 할 수 있는 피사체 거리 측정 부재, 이를 갖는 카메라 모듈을 제공한다.
The present invention provides a subject distance measuring member capable of realizing a three-dimensional image using one image sensor and correcting the quality of an image of a subject by using distance information with respect to the subject, and a camera module having the subject distance measuring member.

일실시예로서, 피사체 거리 측정 부재는 피사체의 거리(depth) 정보를 추출하기 위해 입사된 가시광선은 투과시키고, 상기 가시광선과 함께 입사된 적외선의 일부를 필터링 하여 패터닝 적외선을 형성하는 피사체 거리 추출막을 포함한다.In one embodiment, the object distance measuring member includes a subject distance extracting film for transmitting incident visible light rays for extracting depth information of a subject, filtering the part of infrared rays incident along with the visible light ray to form a patterning infrared ray, .

피사체 거리 측정 부재는 상기 피사체 거리 추출막을 지지하는 투명 기판을 더 포함한다.The object distance measuring member further includes a transparent substrate for supporting the object distance extracting film.

피사체 거리 측정 부재의 상기 피사체 거리 추출막은 상기 가시광선 및 상기 적외선을 모두 통과시키는 제1 패턴부 및 상기 가시광선은 투과시키고 상기 적외선은 차단하여 상기 패터닝 적외선을 형성하는 제2 패턴부를 포함한다.The object distance extracting film of the object distance measuring member includes a first pattern unit for passing both the visible light and the infrared light, and a second pattern unit for transmitting the visible light and blocking the infrared light to form the patterned infrared light.

피사체 거리 측정 부재의 상기 제1 및 제2 패턴부들은 교대로 형성된다.The first and second pattern portions of the object distance measuring member are alternately formed.

피사체 거리 측정 부재의 상기 제1 패턴부 및 상기 제2 패턴부는 상기 피사체 거리 추출막의 중앙 부분에 배치된다.The first pattern portion and the second pattern portion of the object distance measuring member are disposed at a central portion of the object distance extracting film.

피사체 거리 측정 부재의 상기 제1 패턴부 및 상기 제2 패턴부는, 평면상에서 보았을 때, 각각 사각형 형상으로 형성된다.The first pattern portion and the second pattern portion of the object distance measuring member are each formed into a rectangular shape when viewed in a plan view.

일실시예로서, 카메라 모듈은 내부에 수납 공간이 형성된 렌즈 홀더; 상기 렌즈 홀더의 상기 수납 공간에 배치된 적어도 하나의 렌즈; 피사체의 거리 정보를 추출하기 위해 상기 수납 공간에 배치되며 상기 수납 공간으로 제공된 가시광선 및 적외선 중 상기 적외선의 일부를 필터링 하여 패터닝 적외선을 형성하는 피사체 거리 측정 부재; 및 상기 가시광선을 이용하여 컬러 이미지를 생성하기 위한 RGB 픽셀들 및 상기 패터닝 적외선을 이용하여 거리 정보를 추출하기 위한 적외선 이미지를 생성하기 위한 적외선 픽셀들을 포함하는 이미지 센서를 갖는 이미지 센서 모듈을 포함한다.In one embodiment, the camera module includes: a lens holder having a storage space therein; At least one lens disposed in the accommodating space of the lens holder; A subject distance measuring member disposed in the storage space for extracting distance information of a subject and forming a patterning infrared ray by filtering a part of the infrared ray among a visible ray and an infrared ray provided to the storage space; And an image sensor module having an image sensor including RGB pixels for generating a color image using the visible light and infrared pixels for generating an infrared image for extracting distance information using the patterning infrared ray .

카메라 모듈의 하나의 상기 RGB 픽셀 및 하나의 상기 적외선 픽셀은 하나의 화소를 형성한다.One RGB pixel and one infrared pixel of the camera module form one pixel.

카메라 모듈의 상기 피사체 거리 측정 부재는 상기 가시광선 및 상기 적외선을 모두 통과시키는 제1 패턴부 및 상기 가시광선은 통과시키고 상기 적외선은 차단하여 상기 패터닝 적외선을 형성하는 제2 패턴부를 포함하는 피사체 거리 추출막을 포함한다.The object distance measuring member of the camera module includes a first pattern unit for passing both the visible light and the infrared light and a second pattern unit for passing the visible light and blocking the infrared light to form the patterned infrared light, Film.

카메라 모듈의 상기 이미지 센서의 상기 RGB 픽셀들에는 각각 RGB 컬러 필터들이 형성되고, 상기 적외선 픽셀에는 상기 가시광선은 차단하고 상기 적외선을 통과시키는 적외선 투과 필터가 형성된다.RGB color filters are formed in the RGB pixels of the image sensor of the camera module and an infrared ray transmission filter for blocking the visible light and passing the infrared ray is formed in the infrared ray pixel.

일실시예로서, 피사체 거리 정보 추출 방법은 상기 가시광선을 이용하여 가시광선 이미지를 생성하는 단계; 가시광선 및 적외선을 포함하는 광 중 상기 적외선의 일부를 필터링 하여 패터닝 적외선을 이용하여 거리 정보를 추출하기 위한 적외선 이미지를 생성하는 단계; 및 상기 적외선 이미지를 이용하여 피사체들의 거리 정보를 산출하는 단계를 포함한다.In one embodiment, a method for extracting subject distance information includes: generating a visible light image using the visible light; Generating a infrared image for extracting distance information using patterning infrared rays by filtering a part of the infrared light among light including visible light and infrared light; And calculating distance information of the objects using the infrared image.

상기 적외선 이미지를 이용하여 상기 피사체의 거리 정보를 산출하는 단계 이후, 상기 피사체와의 이루는 상기 거리 정보를 이용하여 상기 가시광선 이미지를 보정 하는 단계를 더 포함한다.
The method further includes the step of calculating the distance information of the subject using the infrared image, and then correcting the visible light image using the distance information formed with the subject.

본 발명에 따르면 피사체 거리 측정 부재 및 이를 갖는 카메라 모듈은 피사체로부터 반사되어 이미지 센서로 입사된 가시광선을 이용하여 피사체의 고품질 이미지를 획득하고, 패터닝 적외선을 이용하여 피사체와 이루는 거리 정보를 획득함으로써 이미지의 품질 저하 없이 매우 작은 사이즈로 3차원 이미지를 구현할 수 있다.
According to the present invention, a subject distance measuring member and a camera module having the subject distance measuring member acquire a high-quality image of a subject using a visible light reflected from a subject and incident on the image sensor, and acquire distance information with the subject using patterning infrared rays, Dimensional image with a very small size without deteriorating the quality of the image.

도 1은 본 발명의 일실시예에 따른 피사체 거리 측정 부재의 평면도이다.
도 2는 도 1의 I-I' 선을 따라 절단한 단면도이다.
도 3은 도 1에 도시된 피사체 거리 측정 부재에 포함되는 투명 기판을 도시한 단면도이다.
도 4는 도 1에 도시된 피사체 거리 측정 부재를 통과한 가시광선 및 이미지 센서의 관계를 도시한 단면도이다.
도 5는 이미지 센서의 하나의 화소를 도시한 평면도이다.
도 6은 도 1에 도시된 피사체 거리 측정 부재를 통과한 가시광선 및 이미지 센서의 관계를 도시한 단면도이다.
도 7은 이미지 센서의 하나의 컬러 화소 및 적외선 화소를 도시한 평면도이다.
도 8은 본 발명의 일실시예에 따른 카메라 모듈을 도시한 단면도이다.
도 9는 본 발명의 일실시예에 따른 피사체 거리 정보 추출 방법을 도시한 순서도이다.
도 10은 도 9의 추출 방법을 도시한 블록도이다.1 is a plan view of a subject distance measuring member according to an embodiment of the present invention.
2 is a cross-sectional view taken along line II 'of FIG.
3 is a cross-sectional view illustrating a transparent substrate included in the object distance measuring member shown in FIG.
4 is a cross-sectional view showing the relationship between the visible light and the image sensor passing through the object distance measuring member shown in FIG.
5 is a plan view showing one pixel of the image sensor.
6 is a cross-sectional view showing the relationship between the visible light and the image sensor passed through the object distance measuring member shown in FIG.
7 is a plan view showing one color pixel and an infrared pixel of the image sensor.
8 is a cross-sectional view illustrating a camera module according to an embodiment of the present invention.
9 is a flowchart illustrating a method of extracting subject distance information according to an embodiment of the present invention.
10 is a block diagram showing the extraction method of FIG.

이하 설명되는 본 발명은 다양한 변환을 가할 수 있고, 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다.BRIEF DESCRIPTION OF THE DRAWINGS The invention, which is set forth below, may be embodied with various changes and may have various embodiments, and specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

또한 제1, 제2 등의 용어는 다양한 구성요소들을 구분하여 설명하기 위해 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Also, the terms first, second, etc. may be used to distinguish between various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

도 1은 본 발명의 일실시예에 따른 피사체 거리 측정 부재의 평면도이다. 도 2는 도 1의 I-I' 선을 따라 절단한 단면도이다.1 is a plan view of a subject distance measuring member according to an embodiment of the present invention. 2 is a cross-sectional view taken along line I-I 'of FIG.

본 발명의 일실시예에 따른 피사체 거리 측정 부재(100)는 카메라 모듈 중 렌즈 들이 수납되는 렌즈 홀더의 내부에 렌즈와 함께 고정될 수 있다.The object distance measuring member 100 according to an embodiment of the present invention may be fixed together with a lens inside a lens holder in which lenses of the camera module are housed.

피사체 거리 측정 부재(100)는 렌즈의 전방에 배치되거나 렌즈의 후방에 배치될 수 있다.The object distance measuring member 100 may be disposed in front of the lens or behind the lens.

피사체 거리 측정 부재(100)를 렌즈 홀더의 내부에 렌즈와 함께 고정할 경우, 피사체 거리 측정 부재(100)에 의한 카메라 모듈의 사이즈를 크게 감소 시킬 수 있다.When the object distance measuring member 100 is fixed together with the lens in the lens holder, the size of the camera module by the object distance measuring member 100 can be greatly reduced.

또한, 본 발명의 일실시예에 따른 피사체 거리 측정 부재(100)는 피사체(object)로부터 반사되어 이미지 센서로 유입되는 가시광선 대신 피사체로부터 반사된 적외선을 이용하여 피사체와 카메라 모듈의 이미지 센서 사이의 거리(또는 깊이, depth)를 산출할 수 있다.In addition, the object distance measuring member 100 according to an embodiment of the present invention may use infrared rays reflected from a subject instead of visible light reflected from an object to enter the image sensor, You can calculate the distance (or depth).

이와 같이 피사체 및 카메라 모듈의 이미지 센서 사이의 거리를 적외선을 이용하여 산출할 경우, 이미지 센서로부터 가시광선을 이용하여 획득되는 이미지의 품질 저하를 방지하면서 이미지 센서 및 피사체 사이의 거리를 산출할 수 있다.When the distance between the subject and the image sensor of the camera module is calculated using infrared rays, the distance between the image sensor and the subject can be calculated while preventing deterioration of the image obtained using the visible light from the image sensor .

도 1 및 도 2를 참조하면, 피사체 거리 측정 부재(100)는, 평면상에서 보았을 때, 원판 형상으로 형성된 피사체 거리 추출막(110)을 포함할 수 있다.Referring to FIGS. 1 and 2, the object distance measuring member 100 may include a subject distance extracting film 110 formed in a disk shape when viewed in a plan view.

피사체 거리 추출막(110)은 피사체 거리 정보를 추출하기 위해 피사체로부터 반사되어 입사된 가시광선은 투과시키고, 피사체로부터 반사되어 가시광선과 함께 입사된 적외선의 일부를 필터링(또는 차단)하여 패터닝 된 "패터닝 적외선"을 형성한다.The object distance extracting film 110 transmits visible light reflected from a subject to extract subject distance information, filters (or blocks) a part of infrared rays that are incident on the visible light along with the visible light reflected from the subject, Infrared "

이미지 센서는 피사체 거리 추출막(110)을 광 손실 없이 통과한 가시광선을 이용해, 예를 들어, 피사체의 고품질 흑백 이미지 또는 고품질 컬러 이미지를 생성할 수 있다.The image sensor can generate a high-quality black-and-white image or a high-quality color image of the subject, for example, using visible light that passes through the subject distance extracting film 110 without light loss.

또한, 이미지 센서는 피사체 거리 추출막(110)을 통과한 패터닝 적외선을 이용해 피사체의 거리 정보가 포함된 적외선 이미지를 생성할 수 있다.In addition, the image sensor can generate an infrared image including distance information of the object by using the patterning infrared ray that has passed through the object distance extracting film 110. [

이미지 센서로부터 생성된 적외선 이미지는 영상 처리되어 피사체 및 이미지 센서 사이의 거리(depth) 정보가 생성될 수 있다.The infrared image generated from the image sensor is subjected to image processing to generate depth information between the object and the image sensor.

상기 거리 정보를 통해 이미지 센서로부터 제공된 흑백 이미지 또는 컬러 이미지를 입체적으로 보정 하거나 흑백 이미지 또는 컬러 이미지에 포함된 피사체의 거리에 따라 이미지를 보정하여 이미지의 품질을 보다 향상시킬 수 있다.The distance information can be used to three-dimensionally correct a monochrome image or a color image provided from the image sensor, or to correct the image according to the distance of a subject included in a monochrome image or a color image, thereby further improving the quality of the image.

이를 구현하기 위한 피사체 거리 추출막(110)은 제1 패턴부(112) 및 제2 패턴부(114)를 포함할 수 있다.The object distance extracting layer 110 may include a first pattern portion 112 and a second pattern portion 114.

피사체 거리 추출막(110)의 제1 패턴부(112) 및 제2 패턴부(114)는, 평면상에서 보았을 때, 매트릭스 형태로 배치될 수 있다. 예를 들어, 제1 패턴부(112) 및 제2 패턴부(114)는 교대로 형성될 수 있다.The first pattern portion 112 and the second pattern portion 114 of the object distance extraction film 110 may be arranged in a matrix form when viewed in plan. For example, the first pattern portion 112 and the second pattern portion 114 may be alternately formed.

피사체 거리 추출막(110)에 교대로 형성된 제1 패턴부(112) 및 제2 패턴부(114)는 피사체 거리 추출막(110)의 중앙부에 배치될 수 있다.The first pattern portion 112 and the second pattern portion 114 formed alternately in the object distance extraction layer 110 may be disposed at the center of the object distance extraction layer 110.

피사체 거리 추출막(110)에 교대로 형성된 제1 및 제2 패턴부(112,114)들은, 평면상에서 보았을 때, 각각 사각형 형상으로 형성될 수 있다.The first and second pattern units 112 and 114 alternately formed on the object distance extraction layer 110 may be formed in a rectangular shape when viewed in a plan view.

제1 패턴부(112)는 피사체로부터 반사되어 입사된 가시광선 및 적외선을 모두 통과시킨다. 도 2에서 피사체로부터 반사되어 입사된 가시광선은 점선으로 표시되고, 피사체로부터 반사되어 입사된 적외선은 실선으로 표시된다.The first pattern unit 112 passes both the visible light and the infrared light reflected from the subject. In Fig. 2, a visible ray incident from the subject is indicated by a dotted line, and the infrared ray reflected from the subject and incident is indicated by a solid line.

제2 패턴부(114)는 상기 피사체로부터 반사되어 입사되는 가시광선은 통과시키지만 상기 피사체로부터 반사되어 입사되는 적외선은 차단한다.The second pattern unit 114 passes visible light reflected from the subject and transmits the visible light, but blocks the infrared ray reflected from the subject and incident on the second pattern unit 114.

따라서, 피사체로부터 반사된 가시광선은 제1 및 제2 패턴부(112,114)들을 모두 투과하는 반면 피사체로부터 반사된 적외선은 단지 제1 패턴부(112)를 통과할 수 있다.Accordingly, the visible light reflected from the subject transmits through both the first and second pattern units 112 and 114, while the infrared rays reflected from the subject can pass through the first pattern unit 112 only.

이하, 피사체에서 반사되어 피사체 거리 추출막(110)의 제1 패턴부(112)를 통과한 적외선을 "패터닝 적외선"으로 정의하기로 한다.Hereinafter, the infrared ray that has been reflected by the subject and passed through the first pattern portion 112 of the subject distance extracting film 110 is defined as "patterning infrared ray ".

도 3은 도 1에 도시된 피사체 거리 측정 부재에 포함되는 투명 기판을 도시한 단면도이다.3 is a cross-sectional view illustrating a transparent substrate included in the object distance measuring member shown in FIG.

도 3을 참조하면, 본 발명의 일실시예에서, 피사체 거리 추출막(110)의 두께가 매우 얇아 피사체 거리 추출막(110)의 휨이나 처짐이 발생 되는 것을 방지하기 위해 피사체 거리 측정 부재(100)는 피사체 거리 추출막(110)을 지지하는 투명 기판(116)을 더 포함할 수 있다.3, in order to prevent the object distance extracting film 110 from being bent or deflected due to a very small thickness of the object distance extracting film 110, the object distance measuring member 100 May further include a transparent substrate 116 for supporting the object distance extraction film 110.

투명 기판(116)은, 예를 들어, 가시광선 및 패터닝 적외선을 투과시키는 유리, 석영과 같은 소재로 제작될 수 있다.The transparent substrate 116 may be made of, for example, glass, quartz, or the like that transmits visible light and patterned infrared light.

도 4는 도 1에 도시된 피사체 거리 측정 부재를 통과한 가시광선 및 이미지 센서의 관계를 도시한 단면도이다. 도 5는 이미지 센서의 하나의 화소를 도시한 평면도이다.4 is a cross-sectional view showing the relationship between the visible light and the image sensor passing through the object distance measuring member shown in FIG. 5 is a plan view showing one pixel of the image sensor.

도 4 및 도 5를 참조하면, 피사체로부터 반사되어 피사체 거리 측정 부재(100)로 입사되는 가시광선은 피사체 거리 추출막(110)의 제1 패턴부(112) 및 제2 패턴부(114)를 모두 통과한 후 이미지 센서에 도달한다.4 and 5, the visible light reflected from the subject and incident on the subject distance measuring member 100 passes through the first pattern portion 112 and the second pattern portion 114 of the subject distance extracting film 110 After all passes, it reaches the image sensor.

제1 및 제2 패턴부(112,114)들을 모두 통과한 후 이미지 센서에 도달한 가시광선은 도 5에 도시된 바와 같이 레드 픽셀(R), 그린 픽셀(G) 및 블루 픽셀(B)로 이루어진 컬러 화소(RGB)로 입사되고 이미지 센서로부터는 컬러 이미지가 생성될 수 있다.The visible light rays that have passed through both the first and second pattern units 112 and 114 and then reach the image sensor are converted into a color image of red (R), green (G) and blue (B) It may be incident on a pixel (RGB) and a color image may be generated from the image sensor.

본 발명의 일실시예에서, 피사체로부터 반사된 가시광선은 피사체 거리 추출막(110)에서 손실되지 않고 모두 통과하여 이미지 센서의 컬러 화소(RGB)로 입사되기 때문에 이미지 센서로부터는 고품질 이미지를 생성할 수 있다.In an embodiment of the present invention, since the visible light reflected from the subject passes through the subject distance extracting film 110 without being lost, and is incident on the color pixel (RGB) of the image sensor, a high quality image is generated from the image sensor .

도 6은 도 1에 도시된 피사체 거리 측정 부재를 통과한 가시광선 및 이미지 센서의 관계를 도시한 단면도이다. 도 7은 이미지 센서의 하나의 컬러 화소 및 적외선 화소를 도시한 평면도이다.6 is a cross-sectional view showing the relationship between the visible light and the image sensor passing through the object distance measuring member shown in FIG. 7 is a plan view showing one color pixel and an infrared pixel of the image sensor.

도 6 및 도 7을 참조하면, 피사체로부터 반사되어 피사체 거리 측정 부재(100)로 입사되는 적외선은 피사체 거리 추출막(110)의 제1 패턴부(112)에서는 투과되고 제2 패턴부(114)에서는 차단되며, 따라서 적외선 중 제1 패턴부(112)를 통과한 패터닝 적외선 만이 이미지 센서에 도달된다.6 and 7, the infrared rays reflected from the subject and incident on the subject distance measuring member 100 are transmitted through the first pattern portion 112 of the subject distance extracting film 110 and transmitted through the second pattern portion 114, So that only the patterned infrared ray that has passed through the first pattern portion 112 of the infrared rays reaches the image sensor.

제1 패턴부(112)를 통과한 후 이미지 센서에 도달한 패터닝 적외선은 도 7에 도시된 바와 같이 적외선 화소(IR)로만 선택적으로 입사되고 이미지 센서는 패터닝 적외선을 이용하여 적외선 이미지를 생성한다.The patterned infrared rays that have arrived at the image sensor after passing through the first pattern unit 112 are selectively incident only on the infrared pixel IR as shown in FIG. 7, and the image sensor generates an infrared image using the patterned infrared rays.

본 발명의 일실시예에서, 이미지 센서로부터 발생 된 적외선 이미지는 특정 알고리즘을 이용해 영상 처리됨으로써 적외선 이미지로부터 피사체들 및 이미지 센서 사이의 거리(depth) 정보를 획득할 수 있다.In an embodiment of the present invention, the infrared image generated from the image sensor may be image-processed using a specific algorithm, thereby obtaining the depth information between the objects and the image sensor from the infrared image.

[알고리즘][algorithm]

f*x=yf * x = y

x= argmin(|f*x-y|2)x = argmin (| f * xy | 2 )

f: blur kernel, x: deblurred image, y: blurred image(captured image) f: blur kernel, x: deblurred image, y: blurred image (captured image)

상기 [알고리즘]에는 적외선 이미지로부터 포커싱 되지 않은 흐린 이미지(blurred image) 및 포커싱 된 선명한 이미지(deblurred image)를 이용하여 거리 정보를 추출하는 것이 도시되어 있다.In the algorithm described above, distance information is extracted using an unfocused blurred image and a focused deflurred image from an infrared image.

[알고리즘]에서 x는 선명한 이미지이고, y는 이미지 센서에 결상 된 흐린 이미지이다. 상기 [알고리즘]을 통해 스케일별로 y와 가장 유사한 f*x 값을 만족하는 x를 찾아 거리 정보를 추출하여 이미지를 입체적으로 재구성 및 거리 정보를 이용하여 이미지의 품질을 향상시킬 수 있다.In [Algorithm], x is a sharp image, and y is a cloudy image imaged on an image sensor. Through the above [algorithm], it is possible to extract distance information by finding x satisfying the f * x value most similar to y for each scale, thereby improving the image quality by reconstructing the image in three dimensions and using the distance information.

도 8은 본 발명의 일실시예에 따른 카메라 모듈을 도시한 단면도이다. 본 발명의 일실시예에 따른 카메라 모듈의 피사체 거리 측정 부재는 앞서 도시한 도 1의 피사체 거리 측정 부재와 실질적으로 동일한 구성을 갖는다. 따라서 동일한 구성에 대한 중복된 설명은 생략하기로 하며, 동일한 구성에 대해서는 동일한 명칭 및 동일한 참조 부호를 부여하기로 한다.8 is a cross-sectional view illustrating a camera module according to an embodiment of the present invention. The object distance measuring member of the camera module according to an embodiment of the present invention has substantially the same configuration as the object distance measuring member of FIG. 1 shown above. Therefore, redundant description of the same configuration will be omitted, and the same names and the same reference numerals will be given to the same configurations.

도 8을 참조하면, 카메라 모듈은 렌즈 홀더(200), 렌즈(300), 피사체 거리 측정 부재(100) 및 이미지 센서 모듈(400)을 포함한다.Referring to FIG. 8, the camera module includes a lens holder 200, a lens 300, a subject distance measuring member 100, and an image sensor module 400.

렌즈 홀더(200)는, 예를 들어, 내부에 수납 공간이 형성된 형상으로 형성될 수 있다. 렌즈 홀더(200)는 금속 소재 또는 합성 수지 소재 등으로 제작될 수 있다.The lens holder 200 may be formed in a shape having, for example, a storage space therein. The lens holder 200 may be made of a metal material or a synthetic resin material.

렌즈 홀더(200)의 수납 공간에는 렌즈(300) 및 피사체 거리 측정 부재(100)가 배치 및 고정될 수 있다.The lens 300 and the object distance measuring member 100 can be arranged and fixed in the storage space of the lens holder 200. [

렌즈(300)는 렌즈 홀더(200)의 수납 공간에 배치되며, 렌즈(300)는 적어도 2개가 렌즈 홀더(200)의 수납 공간 내에 배치될 수 있다.The lens 300 may be disposed in a storage space of the lens holder 200 and at least two lenses 300 may be disposed in the storage space of the lens holder 200. [

피사체 거리 측정 부재(100)는 가시광선 및 적외선이 모두 투과되는 제1 패턴부(112) 및 적외선만을 선택적으로 차단하여 패터닝 적외선을 생성하는 제2 패턴부(114)를 포함하는 피사체 거리 추출막(110)을 포함한다. 피사체 거리 측정 부재(100)는 렌즈 홀더(200)의 내부에 배치된다.The object distance measuring member 100 includes a first pattern portion 112 through which both visible light and infrared light are transmitted and a second pattern portion 114 that selectively blocks only infrared light to generate patterning infrared rays. 110). The object distance measuring member 100 is disposed inside the lens holder 200.

피사체 거리 측정 부재(100)는 렌즈 홀더(200)의 수납 공간에 배치된 렌즈(300)의 전방 또는 후방에 배치될 수 있다. 이와 다르게 피사체 거리 측정 부재(100)는 렌즈(300)들 사이에 배치되어도 무방하다.The object distance measuring member 100 may be disposed in front of or behind the lens 300 disposed in the receiving space of the lens holder 200. Alternatively, the object distance measuring member 100 may be disposed between the lenses 300.

이미지 센서 모듈(400)은 회로기판(410) 및 이미지 센서(420)를 포함한다.The image sensor module 400 includes a circuit board 410 and an image sensor 420.

회로 기판(410)은 렌즈 홀더(200)의 하면에 배치되며, 회로 기판(410)에는 이미지 센서(420)가 장착된다.The circuit board 410 is disposed on the lower surface of the lens holder 200 and the image sensor 420 is mounted on the circuit board 410.

이미지 센서(420)는 도 5에 도시된 바와 같이 레드 픽셀(R), 그린 픽셀(G) 및 블루 픽셀(B)로 이루어진 RGB 화소 및 적외선 픽셀(IR)을 포함하며, 레드 픽셀(R), 그린 픽셀(G) 및 블루 픽셀(B) 및 적외선 픽셀(IR)은 하나의 단위 화소를 형성한다. 이미지 센서(410)에는 해상도에 따라 복수개의 단위 화소들이 매트릭스 형태로 배치될 수 있다.The image sensor 420 includes an RGB pixel and an infrared pixel IR each composed of a red pixel R, a green pixel G and a blue pixel B as shown in FIG. 5, and includes red pixels R, The green pixel G and the blue pixel B and the infrared pixel IR form one unit pixel. In the image sensor 410, a plurality of unit pixels may be arranged in a matrix according to the resolution.

이미지 센서(420)의 레드 픽셀(R)에는 레드 파장 대역의 광이 선택적으로 입사되도록 레드 컬러필터가 형성되고, 그린 픽셀(G)에는 그린 파장 대역의 광이 선택적으로 입사되도록 그린 컬러 필터가 형성되며, 블루 픽셀(B)에는 블루 파장 대역의 광이 선택적으로 입사되도록 블루 컬러필터가 형성된다.A red color filter is formed so that red light is selectively incident on the red pixel R of the image sensor 420 and a green color filter is formed on the green pixel G so that green light is selectively incident on the green pixel G And a blue color filter is formed in the blue pixel (B) so that light of a blue wavelength band is selectively incident on the blue pixel (B).

특히 이미지 센서(420)의 적외선 픽셀(IR)에는 적외선을 선택적으로 입사되는 적외선 투과 필터가 형성될 수 있다.Particularly, the infrared ray IR of the image sensor 420 may be formed with an infrared ray transmission filter selectively incident on the infrared ray.

도 9는 본 발명의 일실시예에 따른 피사체 거리 정보 추출 방법을 도시한 순서도이다. 도 10은 도 9의 추출 방법을 도시한 블록도이다.9 is a flowchart illustrating a method of extracting subject distance information according to an embodiment of the present invention. 10 is a block diagram showing the extraction method of FIG.

도 8, 도 9 및 도 10을 참조하면, 피사체로부터 반사된 가시광선은 피사체 거리 측정 부재(100)의 거리 측정 추출막(110)의 제1 패턴부(112) 및 제2 패턴부(114)를 통과하여 이미지 센서(420)의 RGB 픽셀에 입사되고, 이미지 센서(420)의 RGB 픽셀들로부터는 가시광선 이미지(1)가 생성 된다.(단계 S10)8, 9 and 10, the visible light reflected from the subject is reflected by the first pattern portion 112 and the second pattern portion 114 of the distance measurement extraction film 110 of the object distance measuring member 100, And enters the RGB pixels of the image sensor 420, and a visible light image 1 is generated from the RGB pixels of the image sensor 420 (step S10)

한편, 피사체로부터 반사된 적외선 중 피사체 거리 측정 부재(100)의 거리 측정 추출막(110)의 제1 패턴부(112)를 통과한 패터닝 적외선은 이미지 센서(420)의 적외선 픽셀로 입사되고, 이미지 센서(420)의 적외선 픽셀들로부터는 적외선 이미지(3)가 생성 된다.(단계 S20)On the other hand, the patterning infrared rays that have passed through the first pattern portion 112 of the distance measuring and extracting film 110 of the object distance measuring member 100 among the infrared rays reflected from the object are incident on the infrared pixels of the image sensor 420, An infrared image 3 is generated from the infrared pixels of the sensor 420 (step S20)

이미지 센서(420)로부터 생성된 적외선 이미지(3)는 특정 알고리즘을 이용한 영상처리기법에 의하여 적외선 이미지(3)에 포함된 피사체들 및 이미지 센서(420) 사이의 거리(depth) 정보(5)가 피사체 별로 추출된다.(단계 S30)The infrared image 3 generated from the image sensor 420 is obtained by using the image processing technique using a specific algorithm and the depth information 5 between the objects included in the infrared image 3 and the image sensor 420 Are extracted for each subject (step S30)

피사체들 및 이미지 센서(420)들 사이의 거리 정보가 추출될 경우, 거리 정보를 이용하여 가시광선 이미지를 입체적으로 재구성하거나, 가시광선 이미지의 포커싱을 보정하여 보다 우수한 품질의 이미지를 구현하기 위한 가시광선 이미지 보정(7)이 수행된다. (단계 S40)When the distance information between the objects and the image sensors 420 is extracted, the visible light image is reconstructed in three dimensions using the distance information, or the visible light image is corrected by correcting the focusing of the visible light image, A light beam image correction 7 is performed. (Step S40)

이상에서 상세하게 설명한 바에 의하면, 피사체 거리 측정 부재, 이를 갖는 카메라 모듈은 피사체로부터 반사되어 이미지 센서로 입사된 가시광선을 이용하여 피사체의 고품질 이미지를 획득하고, 패터닝 적외선을 이용하여 피사체와 이루는 거리 정보를 획득함으로써 이미지의 품질 저하 없이 매우 작은 사이즈로 3차원 이미지를 구현할 수 있다.As described above in detail, the object distance measuring member and the camera module having the object distance measuring unit acquire a high-quality image of a subject by using a visible light reflected from the subject and incident on the image sensor, A three-dimensional image can be realized in a very small size without deteriorating the quality of the image.

한편, 본 도면에 개시된 실시예는 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
It should be noted that the embodiments disclosed in the drawings are merely examples of specific examples for the purpose of understanding, and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

100...피사체 거리 측정 부재 200...렌즈 홀더
300...렌즈 400...이미지 센서 모듈100 ... object distance measuring member 200 ... lens holder
300 ... Lens 400 ... Image sensor module

Claims (10)

피사체와 이루는 거리(depth) 정보를 추출하기 위해 입사된 가시광선은 투과시키고, 상기 가시광선과 함께 입사된 적외선의 일부를 필터링 하여 패터닝 적외선을 형성하는 피사체 거리 추출막을 포함하는 피사체 거리 측정 부재.And a subject distance extracting film for transmitting a visible light ray to extract depth information of the subject and filtering the part of infrared rays incident along with the visible ray to form a patterning infrared ray. 제1항에 있어서,
상기 피사체 거리 추출막을 지지하는 투명 기판을 더 포함하는 피사체 거리 측정 부재.The method according to claim 1,
And a transparent substrate for supporting the object distance extraction film. 제1항에 있어서,
상기 피사체 거리 추출막은 상기 가시광선 및 상기 적외선을 모두 통과시키는 제1 패턴부 및 상기 가시광선은 투과시키고 상기 적외선은 차단하여 상기 패터닝 적외선을 형성하는 제2 패턴부를 포함하는 피사체 거리 측정 부재.The method according to claim 1,
Wherein the object distance extracting film includes a first pattern portion through which the visible light and the infrared light pass, and a second pattern portion through which the visible light is transmitted and the infrared light is blocked to form the patterned infrared light. 제3항에 있어서,
상기 제1 및 제2 패턴부들은 교대로 형성된 피사체 거리 측정 부재.The method of claim 3,
Wherein the first and second pattern units are alternately formed. 제3항에 있어서,
상기 제1 패턴부 및 상기 제2 패턴부는 상기 피사체 거리 추출막의 중앙 부분에 원형으로 배치된 피사체 거리 측정 부재.The method of claim 3,
Wherein the first pattern portion and the second pattern portion are circularly arranged at a central portion of the object distance extracting film. 제3항에 있어서,
상기 제1 패턴부 및 상기 제2 패턴부는, 평면상에서 보았을 때, 각각 사각형 형상으로 형성된 피사체 거리 측정 부재.The method of claim 3,
Wherein the first pattern portion and the second pattern portion are each formed into a rectangular shape when viewed in plan. 내부에 수납 공간이 형성된 렌즈 홀더;
상기 렌즈 홀더의 상기 수납 공간에 배치된 적어도 하나의 렌즈;
피사체의 거리 정보를 추출하기 위해 상기 수납 공간에 배치되며 상기 수납 공간으로 제공된 가시광선 및 적외선 중 상기 적외선의 일부를 필터링 하여 패터닝 적외선을 형성하는 피사체 거리 측정 부재; 및
상기 가시광선을 이용하여 컬러 이미지를 생성하기 위한 RGB 픽셀들 및 상기 패터닝 적외선을 이용하여 거리 정보를 추출하기 위한 적외선 이미지를 생성하기 위한 적외선 픽셀들을 포함하는 이미지 센서를 갖는 이미지 센서 모듈을 포함하는 카메라 모듈. A lens holder having a storage space therein;
At least one lens disposed in the accommodating space of the lens holder;
A subject distance measuring member disposed in the storage space for extracting distance information of a subject and forming a patterning infrared ray by filtering a part of the infrared ray among a visible ray and an infrared ray provided to the storage space; And
A camera including an image sensor module having an image sensor including infrared pixels for generating an infrared image for extracting distance information using RGB pixels for generating a color image using the visible light and using the patterning infrared light, module. 제7항에 있어서,
하나의 상기 RGB 픽셀 및 하나의 상기 적외선 픽셀은 하나의 화소를 형성하는 카메라 모듈.8. The method of claim 7,
Wherein one RGB pixel and one infrared pixel form one pixel. 제7항에 있어서,
상기 피사체 거리 측정 부재는 상기 가시광선 및 상기 적외선을 모두 통과시키는 제1 패턴부 및 상기 가시광선은 통과시키고 상기 적외선은 차단하여 상기 패터닝 적외선을 형성하는 제2 패턴부를 포함하는 피사체 거리 추출막을 포함하는 카메라 모듈.8. The method of claim 7,
Wherein the object distance measuring member includes a first pattern unit that passes both the visible light and the infrared light and a second pattern unit that passes the visible light and blocks the infrared light to form the patterned infrared light, Camera module. 제7항에 있어서,
상기 이미지 센서의 상기 RGB 픽셀들에는 각각 RGB 컬러 필터들이 형성되고, 상기 적외선 픽셀에는 상기 가시광선은 차단하고 상기 적외선을 통과시키는 적외선 투과 필터가 형성된 카메라 모듈.8. The method of claim 7,
Wherein RGB color filters are formed in the RGB pixels of the image sensor, and the infrared ray pixel includes an infrared ray transmission filter for blocking the visible ray and passing the infrared ray.
KR1020160016354A 2016-02-12 2016-02-12 Member for measuring depth between camera module, and object and camera module having the same KR20170094968A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160016354A KR20170094968A (en) 2016-02-12 2016-02-12 Member for measuring depth between camera module, and object and camera module having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160016354A KR20170094968A (en) 2016-02-12 2016-02-12 Member for measuring depth between camera module, and object and camera module having the same

Publications (1)

Publication Number Publication Date
KR20170094968A true KR20170094968A (en) 2017-08-22

Family

ID=59757800

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160016354A KR20170094968A (en) 2016-02-12 2016-02-12 Member for measuring depth between camera module, and object and camera module having the same

Country Status (1)

Country Link
KR (1) KR20170094968A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020150131A1 (en) * 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11002537B2 (en) 2016-12-07 2021-05-11 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US11062468B2 (en) 2018-03-20 2021-07-13 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
CN114459414A (en) * 2021-12-23 2022-05-10 宜昌测试技术研究所 Depth detection method for semi-submersible navigation body
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11002537B2 (en) 2016-12-07 2021-05-11 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11062468B2 (en) 2018-03-20 2021-07-13 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US11381753B2 (en) 2018-03-20 2022-07-05 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020150131A1 (en) * 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
CN114459414A (en) * 2021-12-23 2022-05-10 宜昌测试技术研究所 Depth detection method for semi-submersible navigation body
CN114459414B (en) * 2021-12-23 2023-12-19 宜昌测试技术研究所 Depth detection method for semi-submersible vehicle

Similar Documents

Publication Publication Date Title
KR20170094968A (en) Member for measuring depth between camera module, and object and camera module having the same
US9414045B2 (en) Stereo camera
EP3073733A1 (en) Method for generating picture and twin-lens device
US8553091B2 (en) Imaging device and method, and image processing method for imaging device
US20120140109A1 (en) Lens Arrays for Pattern Projection and Imaging
KR20170005009A (en) Generation and use of a 3d radon image
JP5237978B2 (en) Imaging apparatus and imaging method, and image processing method for the imaging apparatus
US10623697B2 (en) Display panel, display device and image pickup method therefor
US20120154541A1 (en) Apparatus and method for producing 3d images
CN104012076A (en) Imaging Device And Electronic Information Device
CN102663732A (en) Relative radiometric calibration method for light field camera
WO2019065260A1 (en) Information processing device, information processing method, and program, and interchangeable lens
JP2014230179A (en) Imaging apparatus and imaging method
JPWO2013027320A1 (en) Image processing apparatus, three-dimensional imaging apparatus, image processing method, and image processing program
JP5857712B2 (en) Stereo image generation apparatus, stereo image generation method, and computer program for stereo image generation
CN107710741B (en) Method for acquiring depth information and camera device
WO2015128918A1 (en) Imaging apparatus
Selek A new autofocusing method based on brightness and contrast for color cameras
AU2013308155B2 (en) Method for description of object points of the object space and connection for its implementation
Choi et al. CMOS image sensor using pixel aperture technique for single-chip 2D and 3D imaging
US9386207B2 (en) Image-capturing apparatus
JP2009180976A (en) Compound-eye camera module
US20150077585A1 (en) Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit
CN112422944B (en) Three-dimensional imaging system
JP2011182325A (en) Image pickup device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application