KR20200126129A - 카메라 모듈 - Google Patents

카메라 모듈 Download PDF

Info

Publication number
KR20200126129A
KR20200126129A KR1020190049706A KR20190049706A KR20200126129A KR 20200126129 A KR20200126129 A KR 20200126129A KR 1020190049706 A KR1020190049706 A KR 1020190049706A KR 20190049706 A KR20190049706 A KR 20190049706A KR 20200126129 A KR20200126129 A KR 20200126129A
Authority
KR
South Korea
Prior art keywords
area
region
light
camera module
sensor
Prior art date
Application number
KR1020190049706A
Other languages
English (en)
Inventor
이창혁
주양현
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020190049706A priority Critical patent/KR20200126129A/ko
Priority to US17/607,741 priority patent/US11863735B2/en
Priority to CN202080032566.6A priority patent/CN113767621B/zh
Priority to PCT/KR2020/005491 priority patent/WO2020222477A1/ko
Publication of KR20200126129A publication Critical patent/KR20200126129A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N9/0455—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 실시예에 따르면, 객체로 광 신호를 출력하는 광출력부; 상기 객체로부터 반사된 상기 광 신호를 투과시키는 광학부; 상기 광학부를 투과한 상기 광 신호를 수신하는 센서; 및 상기 센서로 수신된 상기 광 신호를 이용하여 상기 객체의 깊이 정보를 획득하는 제어부;를 포함하고 상기 센서는 수광 소자가 배치되는 유효 영역과 상기 유효 영역 이외의 비유효 영역을 포함하고, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되는 제1 행 영역과, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되고 열 방향으로 상기 제1 행 영역의 유효 영역과 중첩되지 않은 위치에 유효 영역이 배치되는 제2 행 영역을 포함하고, 상기 제1 행 영역의 유효 영역에 도달하는 광은 제1 시프팅 제어에 의해 상기 제1 행 영역의 비유효 영역 또는 상기 제2 행 영역의 비유효 영역에 도달하도록 제어되고, 상기 제2 행 영역의 유효 영역에 도달하는 광은 제1 시프팅 제어에 의해 상기 제2 행 영역의 비유효 영역 또는 상기 제1 행 영역의 비유효 영역에 도달하도록 제어되는 카메라 모듈을 개시한다.

Description

카메라 모듈{CAMERA MODULE}
본 발명은 깊이 정보를 추출하는 카메라 모듈에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 빛을 쏘아서 반사되어 오는 빛의 정보를 이용하여 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
다만, 깊이 정보와 색상 정보를 정렬 및 보정하는데 처리 속도가 높은 한계가 존재한다. 또한, 객체로부터의 거리가 멀어질 때 정확도가 저하되는 문제점이 존재한다.
본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 깊이 정보를 추출하는 카메라 모듈을 제공하는데 있다.
또한, 이미지 센서로부터 얻은 일부 영역의 거리 정보를 통해서 3차원 컨텐츠를 높은 처리 속도로 생성하는 카메라 모듈을 제공할 수 있다.
또한, 거리가 멀어지더라도 용이하게 깊이 맵을 생성할 수 있는 카메라 모듈을 제공할 수 있다.
실시예에 따른 카메라 모듈은 객체로 광 신호를 출력하는 광출력부; 상기 객체에 반사된 광 신호를 통과시키는 필터; 상기 통과한 광 신호를 수광하는 센서; 및 상기 센서로 수광된 광 신호를 이용하여 상기 객체의 깊이 정보 및 상기 객체의 깊이 정보에 인접한 상기 객체의 색상 정보를 획득하는 제어부;를 포함하고, 상기 필터는 제1 파장대역이 통과 대역인 제1 필터영역 및 상기 제1 파장대역과 상이한 제2 파장대역이 통과 대역인 제2 필터영역을 포함하고, 상기 센서는 제1 신호를 수신하는 제1 감지영역 및 제2 신호를 수신하는 제2 감지영역을 포함하고, 상기 제어부는 상기 제1 감지영역으로부터 상기 객체의 색상 정보를 획득하고, 상기 제2 감지영역으로부터 상기 객체의 깊이 정보를 획득하고, 상기 제1 신호는 상기 제1 필터영역을 통과한 광 신호이고, 상기 제2 신호는 상기 제2 필터영역을 통과한 광 신호이다.
상기 제1 필터영역은 상기 제2 필터영역을 둘러싸고, 상기 제1 감지영역은 상기 제1 감지영역을 둘러쌀 수 있다.
상기 제2 감지영역은 복수 개로 이격 배치될 수 있다.
인접한 제2 감지영역은 행 방향 또는 열 방향으로 동일 거리를 가질 수 있다.
상기 제2 감지영역 각각은 적어도 일부가 접하게 배치되는 복수 개의 픽셀로 이루어질 수 있다.
상기 광출력부는 상기 광 신호를 복수 개의 어레이 형태로 출력하는 집광부를 포함할 수 있다.
상기 획득한 객체의 색상 정보 및 상기 획득한 객체의 깊이 정보를 이용하여 상기 객체에 대한 3차원 컨텐츠를 출력하는 연산부를 더 포함할 수 있다.
상기 연산부는, 상기 획득한 객체의 색상 정보 및 상기 획득한 객체의 깊이 정보를 이용하여 복수 개의 이미지를 생성하는 이미지 생성부; 상기 복수 개의 이미지의 각각의 특징점을 추출하는 추출부; 상기 특징점으로 깊이 맵을 생성하는 맵 생성부; 및 상기 깊이 맵을 상기 복수 개의 이미지에 적용하여 상기 3차원 컨텐츠를 생성하는 컨텐츠 생성부;를 포함할 수 있다.
상기 특징점은 상기 획득한 객체의 깊이 정보의 위치에 대응할 수 있다.
상기 센서는 수광 소자가 배치되는 유효 영역과 상기 유효 영역 이외의 비유효 영역을 포함하고, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되는 제1 행 영역과, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되고 열 방향으로 상기 제1 행 영역의 유효 영역과 중첩되지 않은 위치에 유효 영역이 배치되는 제2 행 영역을 포함할 수 있다.
상기 제1 감지영역 및 상기 제2 감지영역은 상기 유효 영역과 중첩될 수 있다.
상기 객체와 상기 광출력부와의 거리에 따라 상기 제2 감지영역의 넓이가 변할 수 있다.
본 발명의 일 실시예에 따르면, 이미지 센서로부터 얻은 이미지의 일부 영역의 거리 정보를 통해 3차원 컨텐츠를 용이하게 출력할 수 있다.
또한, 거리가 멀어지더라도 거리 인식의 정확도를 개선할 수 있다.
또한, 색상 정보와 거리 정보 간의 매칭이 수월해져 3차원 컨텐츠를 생성하는 처리 속도를 향상시킬 수 있다.
또한, 센서의 화소 수를 크게 증가시키지 않고도 입사광 신호의 광경로를 쉬프트시켜 높은 해상도로 깊이 정보를 획득할 수 있다.
또한, 깊이 정보를 용이하게 산출하여 처리되는 데이터 량이 감소된 카메라 모듈을 제공할 수 있다.
도 1은 실시예에 따른 카메라 모듈의 개념도를 도시한 도면이고,
도 2는 실시예에 따른 광출력부를 도시한 도면이고,
도 3은 도 2에서 객체에 일면을 도시한 도면이고,
도 4는 실시예에 따른 광출력부의 거리에 따른 광세기의 효과를 설명하기 위한 도면이고,
도 5는 실시예에 따른 광 신호의 주파수를 설명하기 위한 도면이고,
도 6은 실시예에 따른 카메라 모듈의 단면도이고,
도 7은 실시예에 따른 필터와 센서의 개념도이고,
도 8은 도 7에서 K부분의 확대도이고,
도 9는 도 7에서 M부분의 확대도이고,
도 10은 객체와의 거리에 따른 센서의 제2 감지영역을 도시한 도면이고,
도 11은 변형예에 따른 센서의 평면도이고,
도 12는 실시예에 따른 센서에서 전기 신호 생성 과정을 설명하기 위한 도면이고,
도 13은 실시예에 따른 센서를 설명하기 위한 도면이고,
도 14 내지 도 17은 센서의 다양한 변형예를 설명하기 위한 도면이고,
도 18은 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고,
도 19는 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고,
도 20은 실시예에 따른 카메라 모듈로부터 얻은 깊이 영상이고,
도 21은 실시예에 따른 카메라 모듈에서 깊이 정보와 색상 정보를 얻는 동작을 설명하는 도면이고,
도 22는 실시예에 따른 연산부의 블록도이고,
도 23 내지 도 25은 실시예에 따른 카메라 모듈에서 영상을 제어하는 방법을 설명하기 위한 도면이고,
도 26 내지 도 28은 실시예에 따른 카메라 모듈에서 고해상을 얻기 위한 제어 방법을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
그리고 이하에서 설명하는 실시예에 다른 카메라 모듈은 광학기기 또는 광학기기의 일부 장치로서 이용될 수 있다. 먼저, 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 네비게이션 중 어느 하나를 포함할 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기에 포함될 수 있다.
광학기기는 본체를 포함할 수 있다. 본체는 바(bar) 형태일 수 있다. 또는, 본체는 2개 이상의 서브 몸체(sub-body)들이 상대 이동 가능하게 결합하는 슬라이드 타입, 폴더 타입, 스윙(swing) 타입, 스위블(swirl) 타입 등 다양한 구조일 수 있다. 본체는 외관을 이루는 케이스(케이싱, 하우징, 커버)를 포함할 수 있다. 예컨대, 본체는 프론트(front) 케이스와 리어(rear) 케이스를 포함할 수 있다. 프론트 케이스와 리어 케이스의 사이에 형성된 공간에는 광학기기의 각종 전자 부품이 내장될 수 있다.
광학기기는 디스플레이를 포함할 수 있다. 디스플레이는 광학기기의 본체의 일면에 배치될 수 있다. 디스플레이는 영상을 출력할 수 있다. 디스플레이는 카메라에서 촬영된 영상을 출력할 수 있다.
광학기기는 카메라를 포함할 수 있다. 카메라는 ToF(Time of Flight) 카메라 모듈을 포함할 수 있다. ToF 카메라 모듈은 광학기기의 본체의 전면에 배치될 수 있다. 이 경우, ToF 카메라 모듈은 광학기기의 보안인증을 위한 사용자의 얼굴인식, 홍채인식, 정맥인식 등 다양한 방식의 생체인식에 사용될 수 있다.
도 1은 실시예에 따른 카메라 모듈의 개념도를 도시한 도면이다.
도 1을 참조하면, 실시예에 따른 카메라 모듈(100)은 광출력부(110), 광학부(120), 센서(130), 제어부(140) 및 연산부(150)를 포함할 수 있다.
광출력부(110)는 광을 생성하여 원하는 신호 형태로 객체(O)를 향해 조사할 수 있다. 구체적으로, 발광 모듈, 발광 유닛, 발광 어셈블리 또는 발광 장치일 수 있다. 구체적으로, 광출력부(110)는 광 신호를 생성한 후 객체에 조사할 수 있다. 이때, 광출력부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 광출력부(110)가 광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 모듈(100)은 광출력부(110)로부터 출력된 광 신호와 객체로부터 반사된 후 카메라 모듈(100)로 입력된 입력광 신호 사이의 위상 차 또는 시간 차를 이용 할 수 있다. 본 명세서에서, 출력광(LS1)은 광출력부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광(LS2)은 광출력부(110)로부터 출력된 출력광이 객체에 도달하여 객체로부터 반사된 후 카메라 모듈(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광(LS1)은 입사광이 될 수 있고, 입력광(LS2)은 반사광이 될 수 있다.
광출력부(110)는 생성된 광 신호를 소정의 노출주기(integration time) 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
광출력부(110)는 소정의 주파수를 가지는 출력 광 신호뿐만 아니라, 서로 다른 주파수를 가지는 복수의 광 신호를 생성할 수도 있다. 또한, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광 신호를 동시에 생성할 수도 있다.
이러한 동작을 위하여, 실시예로 광출력부(110)는 광원(112), 광변경부(114), 집광부(116)를 포함할 수 있다.
먼저, 광원(112)은 빛을 생성할 수 있다. 광원(112)이 생성하는 빛은 파장이 770nm 내지 3000nm인 적외선 일 수 있으며, 파장이 380nm 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800nm 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 광 신호를 생성한다. 일정 시간 간격은 광 신호의 주파수일 수 있다. 광원(112)의 점멸은 광변경부(114)에 의해 제어될 수 있다.
광변경부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 광 신호를 생성하도록 제어한다. 광변경부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 광 신호를 생성하도록 제어할 수 있다.
집광부(116)는 광원(112)으로부터 생성된 광을 어레이 스팟을 가지도록 광 경로를 변경할 수 있다. 예컨대, 집광부(116)는 결상 렌즈와 마이크로 렌즈 어레이 또는 회절광학소자(Diffractive Optical Element, DOE)를 포함 수 있다. 이러한 구성에 의하여, 카메라 모듈(100)에서 객체(O)를 향해 출사한 광이 복수 개의 어레이 스팟을 가질 수 있다. 이로써, 카메라 모듈(100)과 객체(O) 간의 거리가 멀어지더라도 집광으로 인하여 카메라 모듈(100)에서 출사한 광이 객체(O)에 용이하게 도달할 수 있다. 이에 따라, 실시예에 따른 카메라 모듈(100)은 보다 정거리 광 전송이 가능해질 수 있다. 이 때, 어레이 스팟의 개수는 다양하게 설정할 수 있으며, 상술한 집광부(116)의 구성 및 효과에 대한 자세한 설명은 후술한다.
한편, 광학부(120)는 적어도 하나의 렌즈를 포함할 수 있다. 광학부(120)는 객체로부터 반사된 입력광 신호를 적어도 하나의 렌즈를 통해 집광하여 센서(130)에 전달할 수 있다. 그리고 광학부(120)는 적어도 하나의 렌즈는 고체 렌즈를 포함할 수 있다. 또한, 적어도 하나의 렌즈는 가변 렌즈를 포함할 수 있다. 이러한 가변 렌즈는 초점 가변 렌즈일 수 있다. 또한, 가변 렌즈는 초점이 조절되는 렌즈일 수 있다. 또한, 가변 렌즈는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 타입, SMA 타입 중 적어도 하나일 수 있다. 액체 렌즈는 하나의 액체를 포함하는 액체 렌즈와 두 개의 액체를 포함하는 액체 렌즈를 포함할 수 있다. 하나의 액체를 포함하는 액체 렌즈는 액체와 대응되는 위치에 배치되는 멤브레인을 조절하여 초점을 가변시킬 수 있으며, 예를 들어, 마그넷과 코일의 전자기력에 의해 멤브레인을 가압하여 초점을 가변시킬 수 있다. 두개의 액체를 포함하는 액체 렌즈는 전도성 액체와 비전도성 액체를 포함하여 액체 렌즈에 인가되는 전압을 이용하여 전도성 액체와 비전도성 액체가 형성하는 계면을 조절할 수 있다. 폴리머 렌즈는 고분자 물질을 피에조 등의 구동부를 통해 초점을 가변시킬 수 있다. 액정 렌즈는 전자기력에 의해 액정을 제어하여 초점을 가변시킬 수 있다. VCM 타입은 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 마그넷과 코일간의 전자기력을 통해 조절하여 초점을 가변시킬 수 있다. SMA 타입은 형상기억합금을 이용하여 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 제어하여 초점을 가변시킬 수 있다. 또한, 광학부(120)는 광학 플레이트를 포함할 수 있다. 광학 플레이트는 광 투과성 플레이트일 수 있다.
또한, 광학부(120)는 특정 파장 영역을 투과시키는 필터(F)를 포함할 수 있다. 실시예에서, 광학부(120)의 필터(F)는 기설정된 파장 영역의 광만을 투과하고, 상기 기설정된 파장 영역 이외의 광을 차단할 수 있다. 이 때, 필터(F)는 적외선(IR) 영역의 광을 부분적으로 통과할 수 있다. 예컨대, 필터(F)는 780nm 내지 1000nm 의 광을 부분적으로 통과시키는 적외선 통과 대역 필터(IR band pass filter)를 포함할 수 있다. 이에 대한 자세한 설명은 후술한다.
센서(130)는 광학부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성할 수 있다. 실시예로, 센서(130)는 광출력부(110)의 점멸 주기와 동기화되어 입력광 신호를 흡수할 수 있다. 구체적으로, 센서(130)는 광출력부(110)로부터 출력된 광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다.
또한, 센서(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 예컨대, 전기 신호는 각 참조 신호와 입력광 간의 믹싱(mixing)된 신호이며, 믹싱은 합성곱(convolution), 곱(multiplication) 등을 포함할 수 있다. 또한, 참조 신호의 주파수는 광출력부(110)로부터 출력된 광 신호의 주파수에 대응하게 설정될 수 있다. 실시예로, 참조 신호의 주파수는 광출력부(110)의 광 신호의 주파수와 동일할 수 있다.
이와 같이, 광출력부(110)가 복수의 주파수로 광 신호를 생성하는 경우, 센서(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성할 수 있다. 그리고 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다. 또한, 전기 신호는 각 픽셀 별로 산출될 수 있다.
제어부(140)는 입력광 신호의 광경로를 시프팅 시키도록 광학부(120)를 제어할 수 있다. 이러한 구성에 의하여, 후술하는 바와 같이 고해상의 깊이 이미지를 추출하기 위한 복수의 이미지 데이터를 출력할 수 있다. 이에 대한 자세한 설명은 후술한다.
또한, 연산부(150)는 센서(130)로부터 수신한 전기 신호를 이용하여 제어부(140)에서 추출된 복수의 이미지 데이터를 조합하여 이미지 데이터의 해상도보다 높은 고해상의 깊이 정보를 연산할 수 있다. 또한, 연산부(150)는 카메라 모듈을 포함하는 광학 기기 내에 또는 도시된 바와 같이 카메라 모듈(100) 내에 배치되어 연산을 수행할 수도 있다. 이하에서는 연산부(150)가 카메라 모듈(100) 내에 배치되는 것을 기준으로 설명한다.
그리고 연산부(150)는 센서(130)에 센싱된 정보를 카메라 모듈(100)로부터 전달 받아 연산을 수행할 수 있다. 연산부(150)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 정보를 수신하고 복수의 저해상 정보를 이용하여 고해상 깊이 정보를 생성할 수 있다. 예를 들어 복수의 저해상 정보를 재배열 하여 고해상 깊이 정보를 생성할 수 있다.
이 때, 연산부(150)는 객체와 카메라 모듈(100) 사이의 거리를 광 출력부로부터 출력된 광 신호와 상기 센서에 수신된 광 신호 간의 시간 차를 이용하거나, 서로 다른 위상에 센서의 유효 영역을 노출시키는 센서의 복수의 노출 시간동안 획득한 복수의 정보를 이용하여 산출할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
도 2는 실시예에 따른 광출력부를 도시한 도면이고, 도 3은 도 2에서 객체에 일면을 도시한 도면이고, 도 4는 실시예에 따른 광출력부의 거리에 따른 광세기의 효과를 설명하기 위한 도면이다.
도 2를 참조하면, 상술한 바와 같이 광원(112)으로부터 방출된 광은 집광부(116)를 통과하여 객체(O)로 조사될 수 있다. 그리고 객체(O)로 조사되는 광은 어레이 스팟(array spot) 형태일 수 있으며, 이러한 형태에 대응하여 집광부(116)도 어레이 형태 배열된 결상 렌즈로 이루어질 수 있다. 이 때, 집광부(116)에서 각 단일 렌즈로 조사되는 광의 간격(d1)은 각 단일 렌즈를 통과한 광의 간격(d2)과 상이할 수 있다. 여기서, 광의 간격은 집광부(116)에서 동일한 간격을 갖는 집광부(116)의 전단 및 후단 영역에서 측정될 수 있다.
그리고 각 단일 렌즈로 조사되는 광의 간격(d1)은 각 단일 렌즈를 통과한 광의 간격(d2)보다 클 수 있다. 이러한 구성에 의하여, 광원(112)에서 객체(O)까지의 거리가 증가하더라도 카메라 모듈이 입력광을 용이하게 수신할 수 있다. 다시 말해, 실시예에 따른 카메라 모듈은 객체와의 거리가 멀더라도 깊이 측정을 용이하게 수행할 수 있다.
도 3을 참조하면, 객체(O)에는 집광부(160)를 통과한 광이 어레이 스팟(array spot) 형태로 집중될 수 있다. 실시예로, 단일 스팟(spot, K)은 집광부(160)의 결상 렌즈 등의 형태에 따라 다양한 어레이 형태로 존재할 수 있다. 실시예로, 각각의 단일 스팟(K)은 인접한 스팟과 소정의 간격을 가지도록 이격 배치될 수 있다. 이러한 구성에 의하여, 객체(O)와의 거리가 멀어지더라도 깊이 정보를 거리 별 깊이 정보를 용이하게 구분할 수 있다. 다시 말해, 깊이 정보에 대한 정확도가 향상될 수 있다. 뿐만 아니라, 이러한 어레이 스팟에서 스팟의 개수는 다양하게 변경될 수 있다.
도 4(a) 및 도 4(b)를 참조하면, 도 4(a)는 집광부가 존재 하지 않는 경우에 광 세기를 나타내고, 도 4(b)는 집광부가 존재하는 경우 광 세기를 나타낸다. 이 때, 집광부가 존재하는 경우 및 집광부가 존재하지 않는 경우에 광 세기는 단일 스팟의 중심(0)에서 가장 클 수 있다. 그러나, 객체와의 거리가 동일하더라도 단일 스팟의 중심(0)에서 광 세기는 집광부의 존재 유무에 따라 상이할 수 있다.
보다 구체적으로, 집광부에 의해 단일 스팟의 중심에서 광 세기가 증가하므로, 광 세기에 따라 센서에서 변환되는 전기 신호의 크기도 증가할 수 있다. 그리고 센서에서 전기 신호의 폭이 커짐에 따라 깊이도 증가함을 알 수 있다. 이에 따라, 거리에 따른 깊이 정보에 대한 정확도가 보다 향상될 수 있다. 또한, 객체와의 거리가 증가하더라도 스팟의 중심에서의 광 세기가 집광부에 증가하므로 객체와의 거리에 따라 광 세기가 감소하는 것을 보상할 수 있다.
도 5는 실시예에 따른 광 신호의 주파수를 설명하기 위한 도면이다.
도 5를 참조하면, 실시예에서 광출력부(110)는 도 5에서와 같이 노출주기의 첫 절반은 주파수 f1인 광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f2인 광 신호가 생성되도록 제어할 수 있다.
다른 실시예에 따르면, 광출력부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2인 광 신호가 생성되도록 제어할 수도 있다. 이와 같이, 광출력부(110)는 노출주기 별 상이한 주파수의 출력을 신호를 생성할 수 있다.
예를 들어, 주파수 f1과 f2로 광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가질 수 있다. 이 경우에, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 후술하는 센서는 주파수가 f1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호를 생성할 수 있다. 그리고 센서는 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호를 생성할 수 있다. 따라서, 센서는 총 8개의 전기 신호를 생성할 수 있다. 다만, 상술한 바와 같이 광 신호는 하나의 주파수(예컨대, f1)를 가지고 생성될 수도 있다.
도 6은 실시예에 따른 카메라 모듈의 단면도이다.
도 6을 참조하면, 실시예에 따른 카메라 모듈은 렌즈 어셈블리(310), 센서(320) 및 인쇄회로기판(330)을 포함할 수 있다. 여기서, 렌즈 어셈블리(310)는 도 1의 광학부(120)에 대응하고, 센서(320)는 도 1의 센서(130)에 대응할 수 있다. 그리고 도 1의 제어부(140)는 인쇄회로기판(330) 또는 센서(320)에 구현될 수 있다. 그리고 도시되지 않았으나, 도 1의 광출력부(110)는 인쇄회로기판(330) 상에서 배치되거나, 별도의 구성으로 배치될 수 있다. 광출력부(110)는 제어부(140)에 의해 제어될 수 있다.
렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다.
렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다. 렌즈(312)는 상술한 가변 렌즈를 포함할 수 있다.
렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치될 수 있다. 렌즈 홀더(316)에 의하여 렌즈 배럴(314)에 IR 필터(318)가 배치될 수 있는 공간이 형성될 수 있다. 도시되지는 않았지만 렌즈 배럴(314)에는 제어부(140ㄴ)에 의해 제어되어 IR 배럴(314)을 틸트 시키거나 시프팅 시킬 수 있는 구동부가 배치될 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다.
상기의 예시는 일 실시예에 불과하며, 광학부(120)는 ToF 카메라 모듈(100)로 입사되는 입력광 신호를 집광하여 센서(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다.
도 7은 실시예에 따른 필터와 센서의 개념도이고, 도 8은 도 7에서 K부분의 확대도이고, 도 9는 도 7에서 M부분의 확대도이고, 도 10은 객체와의 거리에 따른 센서의 제2 감지영역을 도시한 도면이고, 도 11은 변형예에 따른 센서의 평면도이다.
도 7 내지 도 9를 참조하면, 반사광(LS2)은 필터(F)를 통과하고 최종적으로 센서(130)에서 수광될 수 있다. 이 때, 반사광은 상술한 바와 같이 소정의 파장대역의 광일 수 있으며, 필터(F)에서 일부 광이 차단될 수 있다.
구체적으로, 필터(F)는 제1 파장 대역이 통과 대역인 제1 필터영역(FA1) 및 제1 파장 대역과 상이한 대역인 제2 파장 대역이 통과 대역인 제2 필터영역(FA2)을 포함할 수 있다. 다시 말해, 필터(F)는 제1 필터영역(FA1)과 제2 필터영역(FA2)으로 구획될 수 있다.
또한, 실시예로 제2 파장 대역은 적외선 광(IR)을 통과하는 파장 대역과 동일할 수 있다. 이에 따라, 제2 필터영역(F2)은 적외선 광의 파장 영역을 필터링하므로, 적외선 광(IR)에 대한 통과 대역 필터(band pass filter)로 동작할 수 있다. 이와 달리, 제1 파장 대역은 제2 파장 대역을 포함하거나 제2 파장 대역을 제외한 영역으로 이루어질 수 있다. 실시예에서는 제1 파장 대역은 제2 파장 대역을 제외한 파장 대역이 통과 대역이며 이를 기준으로 이하 설명한다.
이 때, 제1 필터영역(FA1)은 제2 필터영역(FA2)을 둘러싸도록 배치될 수 있다. 구체적으로, 제2 필터영역(FA2)은 복수 개일 수 있으며, 필터(F) 상에서 이격 배치될 수 있다. 이 때, 제2 필터영역(FA2)은 서로 소정의 간격을 가지도록 이격 배치될 수 있다. 예를 들어, 인접한 제2 필터영역(FA2) 간의 제1 방향(X축 방향)으로 폭(W1)은 모두 동일할 수 있다 뿐만 아니라, 인접한 제2 필터영역(FA2) 간의 제2 방향(Y축 방향)으로 높이(h1)는 모두 동일할 수 있다. 여기서, 제1 방향(X축 방향)은 센서에서 어레이 형태로 배열된 복수의 픽셀이 나란히 배열되는 일 방향이며, 제2 방향(Y축 방향)은 제1 방향에 수직한 방향으로 복수의 픽셀이 나란히 배열되는 방향이다. 그리고 제3 방향(Z축 방향)은 제1 방향 및 제2 방향에 모두 수직한 방향일 수 있다. 또한, 제1 방향(X축 방향)은 행 방향이고, 제2 방향(Y축 방향)은 열 방향인 것을 기준으로 이하 설명한다. 본 명세서에서, 행 방향은 제1 방향과 혼용되고, 열 방향은 제2 방향과 혼용될 수 있다.
그리고 이러한 구성에 의하여, 후술하는 바와 같이 영상 데이터에서 깊이 정보와 색상 정보가 모두 검출될 수 있다.
또한, 반사광은 제1 필터영역(FA1) 및 제2 필터영역(FA2)을 통과하여 하부의 센서(130)에서 수광될 수 있다. 이 때, 제1 필터영역(FA1)을 통과한 광 신호(반사광)를 제1 신호로, 제2 필터영역을 통과한 광 신호(반사광)를 제2 신호로 설명한다.
그리고 센서(130)는 제1 신호를 수신하는 제1 감지영역(SA1) 및 제2 신호를 수신하는 제2 감지영역(SA2)을 포함할 수 있다. 다시 말해, 센서(130)는 필터(F)를 통과한 반사광의 파장 대역에 따라 제1 감지영역(SA1) 및 제2 감지영역(SA2)으로 구획될 수 있다.
먼저, 제1 감지영역(SA1)은 상술한 제1 필터영역(FA1)에 대응할 수 있다. 다시 말해, 제1 감지영역(SA1)은 제1 필터영역(FA1)을 통과한 광 신호가 센서(130)로 도달하는 영역일 수 있다.
마찬가지로, 제2 감지영역(SA2)은 상술한 제2 필터영역(FA2)에 대응할 수 있다. 그리고 제2 감지영역(SA1)은 제2 필터영역(FA2)을 통과한 광 신호가 센서(130)로 도달하는 영역일 수 있다.
또한, 제1 감지영역(SA1) 및 제2 감지영역(SA2)은 각각이 제1 필터영역(FA1) 및 제2 필터영역(FA2)에 대응하므로, 제1 감지영역(SA1)이 제2 감지영역(SA2)을 둘러싸도록 배치될 수 있다.
보다 구체적으로, 센서(130)는 상술하는 바와 같이 복수 개의 픽셀로 이루어지며, 복수 개의 픽셀은 행 방향 및 열 방향으로 나란히 위치할 수 있다. 그리고 제2 감지영역(SA2)은 복수 개로, 상호 이격 배치될 수 있다.
또한, 이격 배치된 각 제2 감지영역(SA2)은 적어도 하나의 픽셀 상에 위치할 수 있다. 실시예로, 제2 감지영역(SA2) 각각은 적어도 일부가 접하게 배치되는 복수 개의 픽셀로 이루어질 수도 있다. 이 경우, 카메라 모듈과 객체와의 거리가 다양한 경우(예를 들어, 거리가 상이한 다양한 객체에 대한 이미지를 촬영하는 경우)에도 객체 각각에 대해 복수 개의 픽셀을 통해 깊이 정보를 추출하여 객체와의 거리에 대한 깊이 정보의 정확도가 개선될 수 있다.
그리고 센서(130)에서 복수의 픽셀(PX1-1 내지 PX9-9)은 행 방향 및 열 방향으로 배열될 수 있다. 예컨대, 센서(130)에서 픽셀은 9개의 행 및 9개의 열을 가질 수 있다. 그리고 이는 제1-1 픽셀은 1행 및 1열에 위치하는 픽셀을 의미한다. 이 때, 제2-2 픽셀, 제4-2 픽셀, 제6-2 픽셀, 제8-2 픽셀, 제2-4 픽셀, 제4-4 픽셀, 제6-4 픽셀, 제8-4 픽셀, 제2-6 픽셀, 제4-6 픽셀, 제6-6 픽셀, 제8-6 픽셀, 제2-8 픽셀, 제4-8 픽셀, 제6-8 픽셀, 제8-8 픽셀이 제2 감지영역(SA2)일 수 있다.
이 때, 제2 감지영역(SA2)에 대응하는 각 픽셀은 제1 감지영역(SA1)의 각 픽셀에 의해 둘러싸일 수 있다. 예컨대, 제2-2 픽셀은 제1-1 픽셀 내지 제1-3 픽셀, 제2-1 픽셀, 제2-3 픽셀 및 제3-1 픽셀 내지 제3-3 픽셀에 의해 둘러싸이도록 배치될 수 있다. 이에 따라, 객체와의 거리가 변경되더라도 복수 개의 제2 감지영역(SA2)이 중첩되는 것을 최대한 방지하여 깊이 정보에 대한 정확도를 향상할 수 있다.
또한, 제2 감지영역(SA2)은 서로 소정의 간격을 가지도록 이격 배치될 수 있다. 실시예로, 인접한 제2 감지영역(SA2) 간의 제1 방향(X축 방향) 폭(W2)이 모두 동일할 수 있다. 또한, 인접한 제2 감지영역(SA2) 간의 제2 방향(Y축 방향)으로 높이(h2)는 모두 동일할 수 있다.
또한, 제1 필터영역(FA1)의 넓이는 제1 감지영역(SA1)의 넓이와 상이할 수 있다. 마찬가지로, 제2 필터영역(FA2)과 제2 감지영역(SA2)은 넓이가 상이할 수 있다. 실시예로, 제1 필터영역(FA1)의 넓이는 제1 감지영역(SA1)의 넓이보다 클 수 있으며, 제2 필터영역(FA2)의 넓이는 제2 감지영역(SA2)의 넓이보다 클 수 있다.
나아가, 인접한 제2 필터영역(FA2) 간의 제1 방향으로 폭(W1)은 인접한 제2 감지영역(SA2) 간의 제1 방향으로 폭(W2)과 상이할 수 있다. 실시예로, 인접한 제2 필터영역(FA2) 간의 제1 방향으로 폭(W1)은 인접한 제2 감지영역(SA2) 간의 제1 방향으로 폭(W2)보다 클 수 있다.
그리고 인접한 제2 필터영역(FA2) 간의 제2 방향으로 높이(h1)눈 인접한 제2 감지영역(SA2) 간의 제2 방향으로 높이(h2)와 상이할 수 있다. 실시예로, 인접한 제2 필터영역(FA2) 간의 제2 방향으로 높이(h1)는 인접한 제2 감지영역(SA2) 간의 제2 방향으로 높이(h2)보다 클 수 있다. 이러한 구성에 의하여, 카메라 모듈은 센서의 복수의 픽셀을 통해 보다 넓은 시야각의 영상 데이터를 제공할 수 있다.
도 10을 참조하면, 객체(O)와의 거리에 따라 제2 감지영역의 넓이가 변할 수 있다. 일 예로, 객체(O)는 카메라 모듈과의 거리가 상이한 제1 지점(PO1), 제2 지점(PO2) 및 제3 지점(PO3)을 포함할 수 있다. 제1 지점(PO1)은 제2 지점(PO2) 및 제3 지점(PO3)보다 카메라 모듈로부터 거리가 클 수 있다. 그리고 제3 지점(PO3)은 제1 지점(PO1) 및 제2 지점(PO2)보다 카메라 모듈로부터 거리가 작을 수 있다.
이 때, 반사광은 객체와의 거리에 따라 위상 지연이 상이할 수 있다 예컨대, 반사광은 제1 지점(PO1)에서 반사된 광신호인 제1 반사광(LS2-1), 제2 지점(PO2)에서 반사된 광신호인 제2 반사광(LS2-2), 제3 지점(PO3)에서 반사된 광신호인 제3 반사광(LS2-3)을 가질 수 있다.
그리고 제1 반사광(LS2-1) 내지 제3 반사광(LS2-3)은 제2 필터영역(FA2)을 통과하여 센서(130)의 제2 감지영역(SA2)에서 수광될 수 있다.
이 때, 제2 감지영역(SA2)은 제1 반사광(LS2-1)을 수광하는 제2-1 감지영역(SA2a), 제2 반사광(LS2-2)을 수광하는 제2-2 감지영역(SA2b), 제3 반사광(Ls2-3)을 수광하는 제2-3 감지영역(SA2c)을 포함할 수 있다.
그리고 제2-1 감지영역(SA2a)은 넓이가 제2-2 감지영역(SA2b)의 넓이 및 제2-3 감지영역(SA2c)의 넓이보다 작을 수 있다. 그리고 제2-2 감지영역(SA2b)의 넓이는 제2-1 감지영역(SA2a)의 넓이보다 크고 제2-3 감지영역(SA2c)의 넓이보다 작을 수 있다. 그리고 제2-3 감지영역(SA2c)의 넓이는 제2-1 감지영역(SA2a)의 넓이 및 제2-2 감지영역(SA2b)의 넓이보다 클 수 있다.
또한, 제2-1 감지영역(SA2a)이 하나의 픽셀에 대응되는 경우, 제2-2 감지영역(SA2b) 및 제2-3 감지영역(SA2c)은 복수 개의 픽셀에 대응할 수 있다. 이에 따라, 제2 필터영역(FA2)이 복수 개로 이격 배치됨으로써 제2 감지영역(SA2)이 서로 이격 배치되며 행 방향 또는 열 방향으로 중첩되지 않을 수 있다. 이로써, 실시예에 따른 카메라 모듈은 카메라 모듈과 객체 간의 상이한 거리를 모두 반영한 깊이 정보를 산출할 수 있다.
도 11을 참조하면, 필터는 제1 필터영역이 제2 필터영역을 둘러싸고, 하나의 제2 필터영역을 둘러싸는 제1 필터영역은 서로 중첩되지 않을 수 있다. 다시 말해, 필터는 제2 필터영역 및 제2 필터영역을 둘러싸는 제1 필터영역으로 이루어진 복수 개의 집합 필터로 이루어질 수 있으며, 복수 개의 집합필터는 제3 방향(Z축 방향)으로 중첩되지 않을 수 있다.
이러한 필터에 대응하여, 센서도 제1 감지영역(SA1)이 제2 감지영역(SA2)을 둘러싸고, 하나의 제1 감지영역(SA1)을 둘러싸는 제1 감지영역은 서로 중첩되지 않을 수 있다. 또한, 센서는 제2 감지영역(SA2) 및 제2 감지영역(SA2)을 둘러싸는 제1 감지영역(SA1)을 포함하는 집합픽셀(BDX)로 이루어질 수 있다. 이 때, 집합픽셀(BDX)은 복수 개일 수 있으며, 서로 제3 방향(Z축 방향)으로 중첩되지 않을 수 있다. 이러한 구성에 의하여, 객체로부터의 거리가 변경되더라도 정확한 깊이 측정이 가능할 수 있다.
도 12는 실시예에 따른 센서에서 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 상술한 바와 같이 반사광(입력광, LS2)은 입사광(출력광, LS1)이 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연될 수 있다.
또한, 참조 신호는 상술한 바와 같이 복수 개일 수 있으며, 실시예에서는 도 12에 나타난 바와 같이 참조 신호는 4개(C1 내지 C4)일 수 있다. 그리고 각 참조 신호(C1 내지 C4)는 광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 광 신호와 동일한 위상을 가질 수 있다.
센서(130)는 각 참조 신호에 대응하여 센서(130)의 유효 영역을 노출시킬 수 있다. 센서(130)는 노출시키는 시간 동안에 광 신호를 수광할 수 있다.
센서(130)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)할 수 있다. 그러면, 센서(130)는 도 12의 음영 부분에 대응하는 전기 신호를 생성할 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 광 신호가 생성된 경우, 센서(130)는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다. 이하에서는 이를 바탕으로 설명하나, 상술한 바와 같이 광 신호는 하나의 주파수(예컨대, f1)를 가지고 생성될 수 있다.
도 13은 실시예에 따른 센서를 설명하기 위한 도면이고, 도 14 내지 도 17은 센서의 다양한 변형예를 설명하기 위한 도면이다.
도 13 내지 도 17을 참조하면, 센서(130)는 상술한 바와 같이 복수의 픽셀을 가지고 어레이 구조로 이루어질 수 있다. 이 때, 센서(130)는 능동 픽셀 센서(Active pixel sensor, APS)로 CMOS(Complementary Metal Oxide Semiconductor) 센서일 수 있다. 또한, 센서(130)는 CCD(Charge Coupled Device) 센서일 수도 있다. 또한, 센서(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
그리고 복수 개의 픽셀은 제1 방향 및 제2 방향으로 나란히 배치될 수 있다. 일예로, 복수 개의 픽셀은 매트릭스 형태일 수 있다.
또한, 실시예로 제1 픽셀(P1) 및 제2 픽셀(P2)을 포함할 수 있다. 이러한 제1 픽셀(P1) 및 제2 픽셀(P2)은 제1 방향 및 제2 방향으로 교번하여 배치될 수 있다. 즉, 하나의 제1 픽셀(P1)에서 복수의 제2 픽셀(P2)이 제1 방향 및 제2 방향으로 인접하게 배치될 수 있다. 예컨대, 센서(130)에서 제1 픽셀(P1) 및 제2 픽셀(P2)은 체커보드 패턴(checkerboard pattern)으로 배치될 수 있다.
또한, 제1 픽셀(P1)과 제2 픽셀(P2)은 서로 다른 파장 대역을 피크 파장으로 수광하는 픽셀일 수 있다. 예컨대, 제1 픽셀(P1)은 적외선 대역을 피크 파장으로 갖는 광을 받을 수 있다. 그리고 제2 픽셀(P2)은 적외선 대역 이외의 파장을 피크 파장으로 갖는 광을 받을 수 있다.
뿐만 아니라, 제1 픽셀(P1) 및 제2 픽셀(P2) 중 어느 하나는 광을 받지 않을 수 있다. 실시예로, 복수의 픽셀은 수광 소자가 배치되는 유효 영역(SA) 및 유효 영역 이외의 영역인 비유효 영역(IA)을 포함할 수 있다.
그리고 유효 영역(SA)은 수광하여 소정의 전기 신호를 생성할 수 있고, 비유효 영역(IA)은 수광하여 전기신호를 생성하지 않거나 수광하지 않는 영역일 수 있다. 즉, 비유효 영역(IA)은 내부에 수광 소자가 위치하더라도, 광에 의한 전기적 신호를 생성하지 못하는 경우도 포함하는 의미일 수 있다.
그리고 제1 픽셀(P1)은 유효 영역(SA)을 포함할 수 있으나, 제2 픽셀(P2)은 유효 영역(SA)이 존재하지 않는 비유효 영역(IA)으로만 이루어질 수 있다. 예컨대, 포토 다이오드 등의 수광 소자가 제1 픽셀에만 위치하고, 제2 픽셀에 위치하지 않을 수 있다. 또한, 예를 들어 센서(130)는 행 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역(IA)을 포함하는 복수 개의 행 영역(RR)을 포함할 수 있다. 또한, 실시예에서 센서(130)는 열 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역을 포함하는 복수 개의 열 영역(CR)을 포함할 수 있다.
실시예에서 센서(130)는 유효 영역(SA)과 비유효 영역(IA)이 교번하여 배치되는 제1 행 영역(RR1)과 행 방향으로 유효 영역(SA)과 비유효 영역(IA)이 교번하여 배치되고 열 방향으로 제1 행 영역(RR1)의 유효 영역과 중첩되지 않는 위치에 유효 영역이 배치되는 제2 행 영역(RR2)을 포함할 수 있다. 이에, 센서(130)는 열 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역(IA)을 포함하는 복수 개의 열 영역(CR)을 포함할 수 있다.
또한, 제1 픽셀(P1) 및 제2 픽셀(P2)은 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다. 유효 영역(SA)도 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다(도 14, 도 15 참조)
또한, 제2 픽셀(P2)은 인접한 제1 픽셀(P1)과 전기적으로 연결된 구성 요소가 위치할 수 있다. 상술한 구성 요소로 와이어(wire), 커패시터 등의 전기 소자를 포함할 수 있다. 또한, 상술한 구성 요소는 제1 픽셀 내지 제2 픽셀 상에 위치할 수도 있다(도 14 참조).
그리고 실시예에서 각 픽셀은 센서 상에서 배열된 방향으로(예컨대, 제1 방향 또는 제2 방향으로) 인접한 동일 유효 영역 간의 간격에 의해 형상되는 영역일 수 있다. 여기서, 동일 유효 영역은 동일한 기능(예컨대, 동일 파장 대역의 광을 수광하는 등)을 갖는 유효 영역을 의미한다.
또한, 제1 픽셀(P1)은 유효 영역(SA)만을 가질 수도 있고, 유효 영역(SA)과 비유효 영역(IA)을 모두 가질 수도 있다. 그리고 유효 영역(SA)은 제1 픽셀(P1) 내에서 다양한 위치에 존재할 수 있다. 이에, 픽셀의 중심과 유효 영역의 중심이 상이할 수 있으나, 이하에서는 동일한 경우를 기준으로 설명한다.
또한, 도 13과 같이 320x240 해상도의 센서(130)의 경우 76,800개의 픽셀이 그리드(grid) 형태로 배열될 수 있다. 이때, 복수의 픽셀은 서로 소정의 간격으로 이격 배치될 수 있다. 즉, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격(L)이 형성될 수 있다. 이러한 간격(L)의 폭(dL)은 픽셀의 크기 대비 매우 작을 수 있다. 뿐만 아니라, 이러한 간격(L)으로 상술한 와이어 등이 배치될 수 있다. 본 명세서에는 이러한 간격(L)을 무시하여 설명한다.
또한, 실시예로, 각 픽셀(132, 예컨대 제1 픽셀)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호를 흡수한다. 그리고 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다. 다시 말해, 제어부(140)는 이러한 센서(130)로부터 수신한 전기 신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산한다.
보다 구체적으로, 제어부(140)는 전기 신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 광 신호의 주파수마다 전기 신호는 4개가 생성될 수 있다. 따라서, 제어부(140)는 아래의 수학식 1을 이용하여 광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
Figure pat00001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 광 신호와 동일한 위상의 기준신호에 대응하는 전기 신호의 전하량이다. Q3는 광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기 신호의 전하량이다. Q3는 광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기 신호의 전하량이다. Q4는 광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기 신호의 전하량이다.
그리고 제어부(140)는 광 신호와 입력광 신호의 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 제어부(140)는 아래의 수학식 2를 이용하여 객체와 카메라 모듈(100) 사이의 거리(d, 수학식 2 참조)를 계산할 수 있다.
Figure pat00002
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
실시예에 따르면, 카메라 모듈(100)로부터 ToF IR 영상 및 깊이(depth) 영상을 얻을 수 있다. 이에 따라, 본 발명의 실시예에 따른 카메라 모듈은 ToF 카메라 모듈 또는 ToF 카메라 모듈이라 지칭될 수도 있다.
이와 관련하여 더욱 구체적으로 설명하면, 도 18에 예시된 바와 같이 실시예에 따른 카메라 모듈(100)은 4개의 위상에 대한 로우(raw) 영상을 생성할 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다. 이 때, 4개의 위상에 대한 로우(raw) 영상은 제2 감지영역으로부터 생성된 전기 신호에 의해 얻어질 수 있으며, 도 18 내지 도 20은 센서의 전영역이 제2 감지영역으로 수행될 때 위상 별로 얻어진 영상 또는 상기 영상으로부터 얻어질 수 있다.
도 18은 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고, 도 19는 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고, 도 20은 실시예에 따른 카메라 모듈로부터 얻은 깊이 영상이다.
도 18 및 도 19를 참조하면, 4개의 위상 영상(Raw(x0), Raw(x90), Raw(x180), Raw(x270), 도 18)을 이용하여 수학식 3과 같이 연산하면, ToF IR 영상인 앰플리튜드 영상(amplitude image, 도 19)을 얻을 수 있다.
Figure pat00003
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
또는, 도 18의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.
Figure pat00004
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
이와 같이, ToF IR 영상은 4개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성될 수 있다. 예컨대, 서로 빼주는 2개의 위상 영상은 phase가 상호간에 180°차이가 존재할 수 있다. 그리고 이러한 위성 영상 2개를 서로 빼주는 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.
본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 19에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.
한편, 도 18의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 20의 깊이 영상도 얻을 수 있다. 그리고 수학식 5 및 수학식 6은 상술한 수학식 1 및 수학식 2에 각각 대응할 수 있다.
Figure pat00005
Figure pat00006
도 21은 실시예에 따른 카메라 모듈에서 깊이 정보와 색상 정보를 얻는 동작을 설명하는 도면이다.
도 21을 참조하면, 상술한 바와 같이 노출 시간동안 얻은 4개의 위상 영상을 통해 각 픽셀 별로 깊이 정보를 얻을 수 있으며, 이러한 깊이 정보는 제2 감지영역(SA2)에서의 전기 신호를 통해 얻을 수 있다. 또한, 색상 정보는 제1 감지영역(SA1)의 전기 신호를 통해 얻을 수 있다. 이러한 제1 감지영역(SA1) 및 제2 감지영역(SA2)은 상술한 픽셀 또는 유효 영역과 중첩되도록 위치할 수 있다.
이 때, 제2 감지영역(SA2)은 객체와의 거리에 따라 변경될 수 있으며, 실시예로 센서(130) 상에서 제2 감지영역(SA2)이 복수 개의 픽셀의 일부와 중첩되도록 위치할 수 있다. 다시 말해, 제1 감지영역(SA1)도 복수 개의 픽셀의 일부와 중첩되도록 위치할 수 있다. 이하에서, 제2 감지영역(SA2)에 인접한 9개의 픽셀을 기준으로 설명한다(이는 도 7 내지 도 11에서 상술한 픽셀과 상이할 수 있다).
9개의 픽셀은 행 방향으로 1행에 제1-1 픽셀(P1a) 내지 제1-3 픽셀(P1c)이 위치하고, 2행에 제2-1 픽셀(P2a) 내지 제2-3 픽셀(P2c)이 위치하고, 3행에 제3-1 픽셀(P3a) 내지 제3-3 픽셀(P3c)이 위치할 수 있다.
또한, 제2 감지영역(SA2)은 제1-1 픽셀(P1a) 내지 제1-3 픽셀(P1c), 제2-1 픽셀(P2a), 제2-3 픽셀(P2c) 및 제3-1 픽셀(P3a) 내지 제3-3 픽셀(P3c) 각각의 일부 영역과 중첩될 수 있다. 즉, 제2-2 픽셀(P2b)은 제2 감지영역(SA2)과 전 영역에서 중첩되나, 나머지 픽셀은 제2 감지영역(SA2)과 일부 영역에서 중첩될 수 있다.
이 경우, 실시예에 따르면 제어부는 제2-2 픽셀(P2b)로부터 객체와의 깊이 정보를 얻을 수 있다. 다만, 제2-2 픽셀(P2b)에 인접한 나머지 픽셀은 전 영역이 제2 감지영역(SA2)과 중첩되지 않으므로, 상기 나머지 픽셀에서 생성된 전기 신호에 오차가 존재할 수 있다.
이에, 실시예로, 후술하는 고해상도 깊이 영상을 얻기 위해 광학부, 센서 등을 움직여 반사광의 경로를 변경할 수 있다. 뿐만 아니라, 반사광의 경로를 변경하여 상기 나머지 픽셀 각각에 인접한 픽셀의 깊이 정보에 인터폴레이션(interpolation) 기법을 이용하여 나머지 픽셀의 깊이 정보를 산출할 수 있다.
실시예에서, 인터폴레이션 기법은 선형 보간법(linear interpolation), 다항식 보간법(polynomial interpolation), 스플라인 보간법(spline interpolation), 지수 보간법(Exponential interpolation), 로그 선형 보간법(log linear interpolation), 라그랑지 보간법(lagrange interpolation), 뉴튼 보간법(newton interpolation), 2차원 보간법(bilinear interpolation), 공간 보간법(geographic interpolation) 등이 적용될 수 있다. 예컨대, 제1-1 픽셀(P1a)의 깊이 정보는 제1-1 픽셀(P1a)에 인접한 픽셀인 제1-2 픽셀(P1b), 제2-1 픽셀(P2a), 제2-2 픽셀(P2b) 각각의 깊이 정보를 이용하여 산출할 있다. 이 때, 제1-1 픽셀(P1a)에 인접한 픽셀인 제1-2 픽셀(P1b), 제2-1 픽셀(P2a), 제2-2 픽셀(P2b)에는 각각 상이한 가중치를 적용할 수도 있다. 이러한 인터폴레이션 기법에 의하여 깊이 정보 획득을 위한 속도가 개선될 수 있다.
또한, 제1 감지영역(SA1)은 제1-1 픽셀(P1a) 내지 제1-3 픽셀(P1c), 제2-1 픽셀(P2a), 제2-3 픽셀(P2c) 및 제3-1 픽셀(P3a) 내지 제3-3 픽셀(P3c) 각각의 일부 영역과 중첩될 수 있다. 즉, 제2-2 픽셀(P2b)은 제1 감지영역(SA1)과 전 영역에서 중첩되나, 나머지 픽셀은 제1 감지영역(SA1)과 일부 영역에서 중첩될 수 있다.
이 때, 실시예서 제어부는 제2-2 픽셀(P2b)로부터 객체의 색상 정보를 얻을 수 있다. 다만, 제2-2 픽셀(P2b)에 인접한 나머지 픽셀은 전 영역이 제1 감지영역(SA1)과 중첩되지 않으므로, 상기 나머지 픽셀에서 생성된 전기 신호로부터 획득되는 색상 정보에 일부 오차가 존재할 수 있다.
이에, 상술한 깊이 정보와 마찬가지로 광학부, 센서 등을 움직여 반사광의 경로를 변경할 수 있다. 그리고 변경된 반사광의 경로를 통해, 상기 나머지 픽셀이 전체 영역에서 제1 감지영역(SA1)과 중첩되도록 위치할 수 있다. 또한, 각각에 인접한 픽셀의 색상 정보에 인터폴레이션(interpolation) 기법을 이용하여 나머지 픽셀의 색상 정보를 산출할 수도 있다.
도 22는 실시예에 따른 연산부의 블록도이고, 도 23 내지 도 25은 실시예에 따른 카메라 모듈에서 영상을 제어하는 방법을 설명하기 위한 도면이다.
도 22를 참조하면, 실시예에서 따른 연산부는 제어부에서 획득한 객체의 색상 정보 및 깊이 정보를 이용하여 객체에 대한 3차원 컨텐츠를 출력할 수 있다. 이는 상술한 바와 같이 제어부에서 하나의 영상 또는 이미지에서 깊이 정보와 색상 정보를 모두 획득하므로, 깊이 정보를 통한 깊이 영상과 색상 정보를 통한 색상 영상을 개별적이 아니라 한번의 처리를 통해 얻음으로써 연산량을 감소하여 처리 속도를 개선할 수 있다. 즉, 깊이 영상과 색상 영상 간의 보정(calibration) 또는 정렬(alignment)이 수행되지 않을 수 있다. 뿐만 아니라, 하나의 센서로 이루어져 충격에 신뢰성이 개선되며, 전력 소모도 저감될 수 있다.
보다 구체적으로, 실시예에 따른 연산부(150)는 이미지 생성부(151), 추출부(152), 맵 생성부(9153) 및 컨텐츠 생성부(154)를 포함할 수 있다.
먼저, 이미지 생성부(151)는 제어부에서 획득한 객체의 색상 정보와 객체의 깊이 정보를 이용하여 복수 개의 이미지를 생성할 수 있다. 이 때, 복수 개의 이미지는 색상 정보 및 깊이 정보를 모두 포함할 수 있다. 다시 말해, 이미지는 일부 영역에서는 깊이 정보로부터의 깊이 영상을 가지고, 다른 영역에서는 색상 정보로부터의 색상 영상을 가질 수 있다.
추출부(152)는 복수 개의 이미지 각각의 특징점을 추출할 수 있다. 이 때, 특징점은 객체의 깊이 정보의 위치에 대응할 수 있다. 다시 말해, 특징점은 제2 감지영역에 대응할 수 있다. 또한, 이러한 특징점은 광 경로의 변경에 따라 크기 또는 위치가 변경될 수 있다. 또한, 특징점은 상술한 인터폴레이션 기법에 따라 커질 수 있으며, 제2 감지영역에 대응하므로 영상에서 특징점이 용이하게 산출될 수 있다.
맵 생성부(153)는 산출된 특징점을 이용하여 깊이 맵(depth map)을 생성할 수 있다. 다시 말해, 맵 생성부(153)는 특징점에 SLAM(Simultaneous Localization And Mapping) 기술을 적용하여 이미지 전체 영역에 대한 깊이 정보를 산출할 수 있다. SLAM(Simultaneous Localization And Mapping) 기술은 이동하는 기구에서 자신의 위치를 인식하는 동시에 주변 환경에 대한 지도를 작성하는 기술을 의미한다. 이 때, 위치 인식은 복수 개의 이미지에서 각 색상 영상의 색상 정보를 위치 별 매칭하여 인식될 수 있다. 그리고 2차원 이미지 영상에서 특징점들을 3차원 좌표와 매칭시키고 동차 좌표(homogeneous coordinates)를 적용한 투영 행렬(projection matrix)를 구하여 위치를 인식할 수 있다. 그리고 깊이 맵은 색상 영상 및 깊이 영상을 갖는 이미지으로부터 각 특징점을 이미지에서의 점과 매칭하여 산출될 수 있다. 이 때, 위치 인식과 지도 작성은 상보적으로 이루어질 수 있다.
그리고 컨텐츠 생성부(154)는 깊이 맵을 복수의 이미지에 적용하여 3차원 컨텐츠를 생성할 수 있다.
도 23 및 도 24를 참조하면, 복수 개의 이미지는 일 방향(도면 상으로 우측)으로 이동할 수 있다. 이 때, 실시예에 따른 연산부는　k번째 이미지의 상태벡터 x, 이동변위 u, 프레임 상의 랜드마크 m의 관측벡터 z를 이용하여 (k+1)번째 이미지의 상태벡터와 랜드마크의 위치 정보를 추정할 수 있다. 즉, 연산부는 k번째 이미지의 상태벡터 xk, k번째 이동변위 uk, 이미지 상의 랜드마크 mj, 관측벡터 zk를 이용하여 (k+1)번째 프레임의 카메라의 상태벡터 xk +1, 랜드마크 mk의 위치 정보를 추정할 수 있다. 이러한 방법을 반복함으로써 위치정보를 추정할 수 있으며, 획득되지 않는 픽셀 들에 대한 깊이 정보가 추정될 수 있다. 이로써, 이미지 전체 영역의 깊이 맵을 산출할 수 있고, 최종적으로 3차원 콘텐츠를 산출할 수 있다.
도 26 내지 도 28은 실시예에 따른 카메라 모듈에서 고해상을 얻기 위한 제어 방법을 설명하는 도면이다.
도 26 내지 도 28을 참조하면, 실시예에서는 깊이 영상의 해상도를 높이기 위하여, 슈퍼 레졸루션(Super Resolution, SR) 기법을 이용할 수 있다. 먼저, 실시예에서 카메라 모듈은 상술한 바와 같이 센서(130)에서 수광되는 반사광의 경로를 변경함을 통해 슈퍼 레졸루션 기법을 이용하여 고해상 영상을 얻을 수 있다. 일예로, 센서에서 소정의 크기별로 수광되는 반사광의 경로를 변경할 수 있으며, 도 26에서는 0.5 픽셀을 이동한 경우 반사광의 경로 변경을 나타낸다. 다만, 반사광의 경로 변경은 이에 한정되지 않는다.
또한, 실시예로 제어부는 입력광 신호를 센서 상에서 소정의 이동거리만큼 시프팅 시킬 수 있도록 광학부 또는 센서의 이동을 제어할 수 있다. 제어부는 입력광 신호를 센서 상에서 소정의 이동 거리만큼 시프팅 시킬 수 있도록 광학부의 가변 렌즈를 제어할 수 있다. 또한 제어부는 입력광 신호를 센서 상에서 소정의 이동거리만큼 시프팅 시킬 수 있도록 광학부의 필터를 제어할 수 있다. 예를 들어, 광학부의 필터를 틸팅시켜 입력광 신호를 센서 상에서 시프팅 시킬 수 있다. 도시되지는 않았으나 카메라 모듈은 필터를 틸팅시키기 위한 구동부를 포함할 수 있다. 구동부는 VCM, 피에조 타입 등의 구동력을 이용하여 필터를 구동시킬 수 있다.
그리고 SR 기법은 복수의 저해상 영상으로부터 고해상 영상을 얻는 기법으로, SR 기법의 수학적 모델은 수학식 7과 같이 나타낼 수 있다.
Figure pat00007
여기서, 1≤k≤p이고, p는 저해상 영상의 개수이며, yk는 저해상 영상(=[yk,1, yk,2, ??, yk,M]T, 여기서, M=N1*N2) Dk는 다운 샘플링(down sampling) 매트릭스, Bk는 광학 흐림(blur) 매트릭스, Mk는 영상 왜곡(warping) 매트릭스, x는 고해상 영상(=[x1, x2, ??, xN]T, 여기서, N=L1N1*L2N2), nk는 노이즈를 나타낸다. 즉, SR 기법에 따르면, yk에 추정된 해상도 열화 요소들의 역함수를 적용하여 x를 추정하는 기술을 의미한다. SR 기법은 크게 통계적 방식과 멀티프레임 방식으로 나뉠 수 있으며, 멀티프레임 방식은 크게 공간 분할 방식과 시간 분할 방식으로 나뉠 수 있다. 깊이 이미지 획득을 위하여 SR 기법을 이용하는 경우, 수학식 1의 Mk의 역함수가 존재하지 않기 때문에, 통계적 방식이 시도될 수 있다. 다만, 통계적 방식의 경우, 반복 연산 과정이 필요하므로, 효율이 낮은 문제가 있다.
깊이 정보 추출에 SR 기법을 적용하기 위하여, 제어부는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 서브프레임(LRSF)을 생성한 후, 복수의 저해상 서브프레임(LRSF)을 이용하여 복수의 저해상 영상(LRI) 및 저해상 깊이 정보를 추출할 수 있다. 그리고 복수의 저해상 깊이 정보의 픽셀값을 재배열하여 고해상 깊이 정보를 추출할 수 있다. 이에 따라 연산부는 최종적으로 고해상 깊이 이미지(HRDI)를 출력할 수 있다. 본 명세서에서, 고해상이라 함은 저해상보다 높은 해상도를 나타내는 상대적인 의미이다.
또한, 여기서 서브프레임이란 어느 하나의 노출주기 및 참조 신호에 대응한 전기 신호로부터 생성되는 이미지 데이터를 의미할 수 있다. 예를 들어, 하나의 노출주기, 즉 하나의 영상 프레임에서 8개의 참조 신호를 통해 전기 신호가 생성되는 경우, 8개의 서브프레임이 생성될 수 있으며, 시작 프레임(start of frame)이 1개 더 생성될 수 있다. 본 명세서에서, 서브프레임은 이미지 데이터, 서브프레임 이미지 데이터 등과 혼용될 수 있다.
또는, 깊이 정보 추출에 본 발명의 실시예에 따른 SR 기법을 적용하기 위하여, 연산부(150)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 서브프레임(LRSF) 및 복수의 저해상 서브프레임을 포함한 복수의 저해상 영상(LRI)을 생성한 후, 복수의 저해상 서브프레임(LRSF)의 픽셀값을 재배열하여 복수의 고해상 서브프레임(HRSF)을 생성할 수 있다. 그리고 고해상 서브프레임(HRSF)을 이용하여 고해상 깊이 정보를 추출하고 고해상 깊이 이미지(HRDI)를 생성할 수 있다. 이와 같이, 상술한 방식으로 고해상 깊이 정보를 추출할 수 있으며, 이러한 방식은 후술하는 각 실시예 또는 이들의 변형예에 동일하게 적용될 수 있다(도 27 참조).
또한, 이러한 고해상 깊이 정보 추출을 위하여, 서브프레임 별로 소정의 이동거리만큼 쉬프트된 여러 장의 서브프레임을 획득한 후, 서브프레임 별로 SR 기법을 적용하여 복수의 고해상 서브프레임(HRSF)을 획득하며, 이들을 이용하여 서브프레임별 깊이 정보를 추출함으로써 고해상의 깊이 이미지(HRDI)를 추출할 수 있다(도 28 참조).
한편, 본 발명의 실시예에 따른 카메라 모듈(100)이 고품질의 영상 촬영이 필요한 애플리케이션에 적용되는 경우, 예를 들어 생체 인증 등과 같은 정밀한 영상이 요구되는 애플리케이션에 적용되는 경우나 사용자가 한 손만을 이용하여 카메라 모듈(100)을 조작하고 촬영해야 하는 애플리케이션에 적용되는 경우, 손떨림에 의한 영상의 흔들림을 방지하거나 보정하는 기술도 필요하다. 영상의 흔들림을 방지하거나 보정하는 기술을 OIS(Optical Image Stabilizer) 기법이라 지칭할 수 있으며, OIS 기법에서는 광축을 Z축이라 할 때 광축과 수직하는 X 축 및 Y 축의 방향으로 카메라 모듈(100) 내 구조물, 예를 들어 렌즈 등을 이동시키는 방법을 이용하여 영상의 흔들림을 방지하거나 보정할 수 있다.
또한, 카메라 모듈(100)이 SR 기능 및 OIS 기능을 가지기 위하여, 본 발명의 실시예에 따른 카메라 모듈(100)은 내부의 구조물을 이동시키는 구동부를 더 포함할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 객체로 광 신호를 출력하는 광출력부;
    상기 객체에 반사된 광 신호를 통과시키는 필터;
    상기 통과한 광 신호를 수광하는 센서; 및
    상기 센서로 수광된 광 신호를 이용하여 상기 객체의 깊이 정보 및 상기 객체의 깊이 정보에 인접한 상기 객체의 색상 정보를 획득하는 제어부;를 포함하고,
    상기 필터는 제1 파장대역이 통과 대역인 제1 필터영역 및 상기 제1 파장대역과 상이한 제2 파장대역이 통과 대역인 제2 필터영역을 포함하고,
    상기 센서는 제1 신호를 수신하는 제1 감지영역 및 제2 신호를 수신하는 제2 감지영역을 포함하고,
    상기 제어부는 상기 제1 감지영역으로부터 상기 객체의 색상 정보를 획득하고, 상기 제2 감지영역으로부터 상기 객체의 깊이 정보를 획득하고,
    상기 제1 신호는 상기 제1 필터영역을 통과한 광 신호이고,
    상기 제2 신호는 상기 제2 필터영역을 통과한 광 신호인 카메라 모듈.
  2. 제1항에 있어서,
    상기 제1 필터영역은 상기 제2 필터영역을 둘러싸고,
    상기 제1 감지영역은 상기 제1 감지영역을 둘러싸는 카메라 모듈.
  3. 제1항에 있어서,
    상기 제2 감지영역은 복수 개로 이격 배치되는 카메라 모듈.
  4. 제3항에 있어서,
    인접한 제2 감지영역은 행 방향 또는 열 방향으로 동일 거리를 갖는 카메라 모듈.
  5. 제3항에 있어서,
    상기 제2 감지영역 각각은 적어도 일부가 접하게 배치되는 복수 개의 픽셀로 이루어진 카메라 모듈.
  6. 제1항에 있어서,
    상기 광출력부는 상기 광 신호를 복수 개의 어레이 형태로 출력하는 집광부를 포함하는 카메라 모듈.
  7. 제1항에 있어서,
    상기 획득한 객체의 색상 정보 및 상기 획득한 객체의 깊이 정보를 이용하여 상기 객체에 대한 3차원 컨텐츠를 출력하는 연산부를 더 포함하는 카메라 모듈.
  8. 제7항에 있어서,
    상기 연산부는,
    상기 획득한 객체의 색상 정보 및 상기 획득한 객체의 깊이 정보를 이용하여 복수 개의 이미지를 생성하는 이미지 생성부;
    상기 복수 개의 이미지의 각각의 특징점을 추출하는 추출부;
    상기 특징점으로 깊이 맵을 생성하는 맵 생성부; 및
    상기 깊이 맵을 상기 복수 개의 이미지에 적용하여 상기 3차원 컨텐츠를 생성하는 컨텐츠 생성부;를 포함하는 카메라 모듈.
  9. 제8항에 있어서,
    상기 특징점은 상기 획득한 객체의 깊이 정보의 위치에 대응하는 카메라 모듈.
  10. 제1항에 있어서,
    상기 센서는 수광 소자가 배치되는 유효 영역과 상기 유효 영역 이외의 비유효 영역을 포함하고,
    행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되는 제1 행 영역과,
    행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되고 열 방향으로 상기 제1 행 영역의 유효 영역과 중첩되지 않은 위치에 유효 영역이 배치되는 제2 행 영역을 포함하는 카메라 모듈.
  11. 제10항에 있어서,
    상기 제1 감지영역 및 상기 제2 감지영역은 상기 유효 영역과 중첩되는 카메라 모듈.
  12. 제1항에 있어서,
    상기 객체와 상기 광출력부와의 거리에 따라 상기 제2 감지영역의 넓이가 변하는 카메라 모듈.
KR1020190049706A 2019-04-29 2019-04-29 카메라 모듈 KR20200126129A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190049706A KR20200126129A (ko) 2019-04-29 2019-04-29 카메라 모듈
US17/607,741 US11863735B2 (en) 2019-04-29 2020-04-27 Camera module
CN202080032566.6A CN113767621B (zh) 2019-04-29 2020-04-27 相机模块
PCT/KR2020/005491 WO2020222477A1 (ko) 2019-04-29 2020-04-27 카메라 모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190049706A KR20200126129A (ko) 2019-04-29 2019-04-29 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20200126129A true KR20200126129A (ko) 2020-11-06

Family

ID=73028922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190049706A KR20200126129A (ko) 2019-04-29 2019-04-29 카메라 모듈

Country Status (4)

Country Link
US (1) US11863735B2 (ko)
KR (1) KR20200126129A (ko)
CN (1) CN113767621B (ko)
WO (1) WO2020222477A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3096510B1 (fr) * 2019-05-24 2021-05-28 Aledia Dispositif optoélectronique ayant des systèmes optiques déplaçables entre différents pixels et procédé de contrôle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932911A1 (fr) * 2008-06-24 2009-12-25 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
KR101648353B1 (ko) 2009-09-25 2016-08-17 삼성전자 주식회사 거리 센서를 포함하는 이미지 센서
JP2011128024A (ja) * 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置
US9214492B2 (en) 2012-01-10 2015-12-15 Softkinetic Sensors N.V. Multispectral sensor
KR101951318B1 (ko) 2012-08-27 2019-04-25 삼성전자주식회사 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
KR20160025729A (ko) * 2014-08-28 2016-03-09 에스케이하이닉스 주식회사 깊이 검출 픽셀을 구비한 이미지 센서 및 이를 이용한 깊이 정보 생성 방법
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
US10275855B2 (en) * 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays

Also Published As

Publication number Publication date
WO2020222477A1 (ko) 2020-11-05
CN113767621B (zh) 2023-12-01
CN113767621A (zh) 2021-12-07
US20220210393A1 (en) 2022-06-30
US11863735B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
US20210014429A1 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
US7296749B2 (en) Autofocus barcode scanner and the like employing micro-fluidic lens
KR20190139009A (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
US8433187B2 (en) Distance estimation systems and method based on a two-state auto-focus lens
KR102661298B1 (ko) 광학계 및 이를 포함하는 카메라 모듈
US20220321789A1 (en) Camera module
KR20200126129A (ko) 카메라 모듈
KR102561533B1 (ko) 카메라 장치
KR20210034301A (ko) 카메라 모듈
US12035046B2 (en) Image signal processor for performing auto zoom and auto focus, image processing method thereof, and image processing system including the image signal processor
KR20200108736A (ko) 카메라 모듈
KR20210034300A (ko) 카메라 모듈
US11882263B2 (en) ToF camera
US11885884B2 (en) Camera module
US11856292B2 (en) Camera module outputting different optical signals based on depth of object
US20220357635A1 (en) Camera module
KR20200129388A (ko) 카메라 모듈
KR20160091564A (ko) 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
KR20210083141A (ko) 카메라 모듈
KR20200113437A (ko) 카메라 모듈
CN117528209A (zh) 摄像模组、电子设备、对焦方法、装置及可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal