KR102486425B1 - 카메라 모듈 및 그의 초해상도 영상 처리 방법 - Google Patents

카메라 모듈 및 그의 초해상도 영상 처리 방법 Download PDF

Info

Publication number
KR102486425B1
KR102486425B1 KR1020180022121A KR20180022121A KR102486425B1 KR 102486425 B1 KR102486425 B1 KR 102486425B1 KR 1020180022121 A KR1020180022121 A KR 1020180022121A KR 20180022121 A KR20180022121 A KR 20180022121A KR 102486425 B1 KR102486425 B1 KR 102486425B1
Authority
KR
South Korea
Prior art keywords
image
depth information
image frames
pixel
lens
Prior art date
Application number
KR1020180022121A
Other languages
English (en)
Other versions
KR20190101759A (ko
Inventor
김대근
김석현
이창혁
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020180022121A priority Critical patent/KR102486425B1/ko
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to JP2020544416A priority patent/JP7312185B2/ja
Priority to EP19757781.0A priority patent/EP3758354A4/en
Priority to CN201980028015.XA priority patent/CN112020853B/zh
Priority to US16/971,907 priority patent/US11425303B2/en
Priority to CN202211273403.4A priority patent/CN115695997A/zh
Priority to PCT/KR2019/002163 priority patent/WO2019164312A1/ko
Publication of KR20190101759A publication Critical patent/KR20190101759A/ko
Priority to US17/811,248 priority patent/US20220345626A1/en
Priority to US17/821,350 priority patent/US11770626B2/en
Application granted granted Critical
Publication of KR102486425B1 publication Critical patent/KR102486425B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

실시 예의 카메라 모듈은, 공간 위상차를 갖는 복수의 이미지 프레임을 획득하는 영상 획득부와, 복수의 이미지 프레임 각각의 해상도보다 높은 해상도를 갖는 영상 데이터를 복수의 이미지 프레임을 이용하여 생성하는 영상 생성부 및 영상 데이터를 이용하여 피사체에 대한 깊이 정보를 추출하는 깊이 정보 추출부를 포함한다.

Description

카메라 모듈 및 그의 초해상도 영상 처리 방법{CAMERA MODULE AND SUPER RESOLUTION IMAGE PROCESSING METHOD PERFORMED THEREIN}
실시 예는 카메라 모듈 및 그의 초해상도 영상 처리 방법에 관한 것이다.
휴대용 장치의 사용자는 고해상도를 가지며 크기가 작고 다양한 촬영 기능[광학 줌 기능(zoom-in/zoom-out), 오토포커싱(Auto-Focusing, AF) 기능, 손떨림 보정 내지 영상 흔들림 방지(Optical Image Stabilizer, OIS) 기능 등]을 가지는 광학 기기를 원하고 있다. 이러한 촬영 기능은 여러 개의 렌즈를 조합해서 직접 렌즈를 움직이는 방법을 통해 구현될 수 있으나, 렌즈의 수를 증가시킬 경우 광학 기기의 크기가 커질 수 있다.
오토 포커스와 손떨림 보정 기능은, 렌즈 홀더에 고정되어 광축이 정렬된 여러 개의 렌즈 모듈이, 광축 또는 광축의 수직 방향으로 이동하거나 틸팅(Tilting)하여 수행되고, 렌즈 모듈을 구동시키기 위해 별도의 렌즈 구동 장치가 사용된다. 그러나 렌즈 구동 장치는 전력 소모가 높으며, 이를 보호하기 위해서 카메라 모듈과 별도로 커버 글라스를 추가하여야 하는 바 전체 두께가 두꺼워 진다.
또한, 고품질 이미지에 대한 수요자의 요구가 증대됨에 따라, 초해상도 이미지를 제공할 수 있는 카메라 모듈이 요구되고 있다. 그러나, 초해상도 이미지를 생성하기 위해서는 이미지 센서에 포함되는 픽셀의 수가 증가될 수 밖에 없는데, 이는 이미지 센서의 크기를 증가시키게 되고 소모 전력이 낭비되는 결과를 초래할 수 있다. 여기서, 초 해상도(SR:Super Resolution)란, 주어진 저 해상도(LR:Low Resolution)를 갖는 영상 정보를 고해상도(HR:High Resolution)를 갖는 영상 정보로 변환하는 것을 의미한다.
영상에 포함되는 피사체에 대응하는 픽셀의 깊이를 추출하기 위해, 피사체에 빛을 쏘는 능동형 깊이 추출 방법 중 하나로서 ToF(Time of Flight) 방식이 있다. ToF 방식에 의하면, 피사체에 광을 조사하고, 그 광이 돌아오는 시간을 측정하는 방식이다. 이미지 데이터에 대한 점상 강도 분포 함수(PSF:Point Spread Function)는 최적화되어 매우 간단한 반면, 깊이 정보를 추출하기 위한 PSF는 새롭게 정의되고 최적화될 필요가 있다.
본 실시 예는 고해상도를 갖는 영상을 제공하면서 픽셀의 깊이 정보를 고속으로 간단히 추출할 수 있는 카메라 모듈 및 그의 초해상도 영상 처리 방법을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
실시 예에 의한 카메라 모듈은, 공간 위상차를 갖는 복수의 이미지 프레임을 획득하는 영상 획득부; 상기 복수의 이미지 프레임 각각의 해상도보다 높은 해상도를 갖는 영상 데이터를 상기 복수의 이미지 프레임을 이용하여 생성하는 영상 생성부; 및 상기 영상 데이터를 이용하여 피사체에 대한 깊이 정보를 추출하는 깊이 정보 추출부를 포함할 수 있다.
예를 들어, 상기 영상 획득부는 피사체에 대한 광이 진행하는 경로를 변환하는 광학부; 서로 다른 경로를 통해 입사된 광을 센싱하는 이미지 센서; 및 상기 광학부와 상기 이미지 센서를 제어하는 제어부를 포함하고, 상기 복수의 이미지 프레임은 상기 이미지 센서에서 순차적으로 센싱된 결과에 해당할 수 있다.
예를 들어, 상기 영상 획득부는 피사체에 대한 광이 진행하는 경로를 서로 달리 갖는 복수의 광학부; 및 상기 복수의 광학부를 통해 입사된 광을 센싱하는 복수의 이미지 센서를 포함하고, 상기 복수의 이미지 프레임은 상기 복수의 이미지 센서에서 센싱된 결과에 해당할 수 있다.
예를 들어, 상기 영상 생성부는 아래와 같은 세기를 갖는 상기 영상 데이터를 생성할 수 있다.
Figure 112018019273948-pat00001
여기서, xØ는 상기 영상 데이터의 세기를 나타내고, 1 ≤ k ≤ p이고, p는 상기 영상 데이터를 생성하기 위해 사용된 상기 이미지 프레임의 개수를 나타내고, Ø는 위상 지연 정도를 나타내고, D-1은 D의 역행렬을 나타내고, D는 상기 이미지 센서의 픽셀의 크기를 나타내고, BK -1은 BK의 역행렬을 나타내고, BK는 상기 깊이 정보에 대한 광학 특성을 나타내고, nK는 상기 복수의 이미지 프레임이 갖는 잡음 성분을 나타내고, AK는 p개의 상기 이미지 프레임 중 k번째 이미지 프레임의 세기를 나타내며 아래와 같다.
Figure 112018019273948-pat00002
예를 들어, 상기 깊이 정보 추출부는 아래와 같이 상기 깊이 정보를 산출할 수 있다.
Figure 112018019273948-pat00003
여기서, x는 깊이 정보를 나타내고, c는 광속을 나타내고, f는 주파수를 나타낸다.
다른 실시 예에 의한 카메라 모듈의 초해상도 영상 처리 방법은, 공간 위상차를 갖는 복수의 이미지 프레임을 획득하는 (a) 단계; 상기 복수의 이미지 프레임 각각의 해상도보다 높은 해상도를 갖는 영상 데이터를 상기 복수의 이미지 프레임을 이용하여 생성하는 (b) 단계; 및 상기 영상 데이터를 이용하여 피사체에 대한 깊이 정보를 추출하는 (c) 단계를 포함할 수 있다.
예를 들어, 상기 (a) 단계는 피사체에 대한 광이 진행하는 경로를 변환하는 단계; 및 서로 다른 경로를 통해 입사된 광을 순차적으로 센싱하여 상기 복수의 이미지 프레임을 획득하는 단계를 포함할 수 있다.
예를 들어, 상기 (a) 단계는 피사체에 대한 광을 서로 다른 경로에서 동시에 센싱하여 상기 복수의 이미지 프레임을 획득하는 단계를 포함할 수 있다.
예를 들어, 상기 (b) 단계는 아래와 같은 세기를 갖는 상기 영상 데이터를 구할 수 있다.
Figure 112018019273948-pat00004
여기서, xØ는 상기 영상 데이터의 세기를 나타내고, 1 ≤ k ≤ p이고, p는 상기 영상 데이터를 생성하기 위해 사용된 상기 이미지 프레임의 개수를 나타내고, Ø는 위상 지연 정도를 나타내고, D-1은 D의 역행렬을 나타내고, D는 상기 이미지 프레임 각각을 구한 이미지 센서에 픽셀의 크기를 나타내고, BK -1은 BK의 역행렬을 나타내고, BK는 상기 깊이 정보에 대한 광학 특성을 나타내고, nK는 상기 복수의 이미지 프레임이 갖는 잡음 성분을 나타내고, AK는 p개의 상기 이미지 프레임 중 k번째 이미지 프레임의 세기를 나타내며, 아래와 같다.
Figure 112018019273948-pat00005
예를 들어, 상기 (c) 단계는 아래와 같이 상기 깊이 정보를 구할 수 있다.
Figure 112018019273948-pat00006
여기서, x는 깊이 정보를 나타내고, c는 광속을 나타내고, f는 주파수를 나타낸다.
예를 들어, 상기 카메라 모듈의 초해상도 영상 처리 방법은 상기 깊이 정보를 칼리브레이션하는 단계를 더 포함할 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명의 일 실시 예에 따른 카메라 모듈 및 그의 초해상도 영상 처리 방법에 의하면, 초해상도를 갖는 영상을 제공하면서도 적은 연산으로 깊이 정보를 간단히 고속으로 추출할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 카메라 모듈의 초해상도 영상 처리 방법을 설명하기 위한 플로우차트를 나타낸다.
도 2는 도 1에 도시된 초해상도 영상 처리 방법을 수행하는 실시 예에 의한 카메라 모듈의 개략적인 블럭도를 나타낸다.
도 3은 도 2에 도시된 영상 획득부의 일 실시 예에 의한 블럭도를 나타낸다.
도 4는 도 3에 도시된 영상 획득부를 포함하는 카메라 모듈의 실시 예에 의한 단면도를 나타낸다.
도 5는 도 2에 도시된 영상 획득부의 다른 실시 예에 의한 블럭도를 나타낸다.
도 6은 영상 획득부의 일 실시 예에 의한 동작 방법을 설명하기 위한 도면이다.
도 7은 도 6에서 설명되는 영상 획득부의 동작 방법을 보다 상세히 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 카메라 모듈의 동작 방법에 대한 타이밍도이다.
도 9는 실시 예에 의한 초해상도 영상 처리 방법에서 칼리브레이션 단계의 일 실시 예를 설명하기 위한 플로우차트이다.
도 10 (a) 및 (b)는 도 9에 도시된 칼리브레이션 단계의 이해를 돕기 위한 파형도이다.
도 11 (a)는 로우 데이터를 나타내고, 도 11 (b)는 이미지 센서에서 센싱되어 출력되는 전하의 세기를 나타낸다.
도 12 (a) 내지 (c)는 비교 례에 의한 초해상도 영상 처리 방법을 설명하기 위한 도면이다.
도 13 (a) 내지 (c)은 실시 예에 의한 초해상도 영상 처리 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 실시 예를 상세히 설명한다. 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 실시예의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
“제1”, "제2" 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용된다. 또한, 실시 예의 구성 및 작용을 고려하여 특별히 정의된 용어들은 실시 예를 설명하기 위한 것일 뿐이고, 실시 예의 범위를 한정하는 것이 아니다.
실시 예의 설명에 있어서, 각 element의 "상(위)" 또는 "하(아래)(on or under)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)(on or under)는 두 개의 element가 서로 직접(directly)접촉되거나 하나 이상의 다른 element가 상기 두 element사이에 배치되어(indirectly) 형성되는 것을 모두 포함한다. 또한 "상(위)" 또는 "하(아래)(on or under)"로 표현되는 경우 하나의 element를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
또한, 이하에서 이용되는 "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서 이용될 수도 있다.
이하, 일 실시 예에 따른 카메라 모듈의 초해상도 영상 처리 방법을 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 1은 일 실시 예에 따른 카메라 모듈의 초해상도 영상 처리 방법을 설명하기 위한 플로우차트를 나타내고, 도 2는 도 1에 도시된 초해상도 영상 처리 방법을 수행하는 실시 예에 의한 카메라 모듈의 개략적인 블럭도를 나타낸다.
도 1에 도시된 초해상도 영상 처리 방법이 도 2에 도시된 카메라 모듈에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 1에 도시된 초해상도 영상 처리 방법은 도 2에 도시된 카메라 모듈과 다른 구성을 갖는 카메라 모듈에서 수행될 수도 있고, 도 2에 도시된 카메라 모듈은 도 1에 도시된 바와 다른 초해상도 영상 처리 방법을 수행할 수 있다.
도 2에 도시된 카메라 모듈은 영상 획득부(100), 영상 생성부(200) 및 깊이 정보 추출부(300)를 포함할 수 있다.
도 2에 도시된 영상 획득부(100)는 서로가 서브 픽셀 간격으로 공간 위상차를 갖는 복수의 이미지 프레임을 획득하고, 획득된 복수의 이미지를 영상 생성부(200)로 출력한다(제10 단계). 만일, 픽셀 간의 거리(예를 들어 픽셀 중심 간의 거리)를 1 PD(픽셀 거리)라 할 때, 그 절반은 0.5 PD에 해당한다. 전술한 서브 픽셀 간격은 0.5 PD일 수 있으나, 실시 예는 이에 국한되지 않는다.
도 3은 도 2에 도시된 영상 획득부(100)의 일 실시 예(100A)에 의한 블럭도를 나타낸다.
도 3에 도시된 영상 획득부(100A)는 광학부(110), 이미지 센서(120) 및 제어부(130)를 포함할 수 있다.
광학부(110)는 제어부(130)의 제어 하에, 피사체에 대한 광이 진행하는 경로를 변환할 수 있다.
이미지 센서(120)는 제어부(130)의 제어 하에, 서로 다른 경로를 통해 입사된 광을 센싱하고, 센싱된 결과를 이미지 프레임으로서 출력단자 OUT1을 통해 영상 생성부(200)로 출력할 수 있다. 이미지 센서(120)는 서로 다른 경로를 통해 입사된 광을 순차적으로 센싱한다. 따라서, 이미지 센서(120)에서 순차적으로 센싱된 결과가 공간 위상차를 갖는 복수의 이미지 프레임에 해당할 수 있다.
제어부(300)는 광학부(110)와 이미지 센서(120)를 제어할 수 있다. 특히, 제어부(300)는 광학부(110)에서 광이 진행하는 경로를 변환시킴으로써 이미지 센서(120)에서 순차적으로 센싱되어 출력되는 복수의 이미지 프레임이 서로 서브 픽셀 간격으로 공간 위상차를 갖도록 할 수 있다.
이하, 도 3에 도시된 영상 획득부(100A)를 포함하는 카메라 모듈의 실시 예를 데카르트 좌표계를 이용하여 설명하지만, 다른 좌표계에 의해서도 설명될 수 있다. 데카르트 좌표계에 의하면, x축, y축, z축은 서로 직교하지만, 실시 예는 이에 국한되지 않는다. 즉, x축, y축, z축은 서로 교차할 수도 있다.
도 4는 도 3에 도시된 영상 획득부(100A)를 포함하는 카메라 모듈의 실시 예에 의한 단면도를 나타낸다.
도 4를 참조하면, 카메라 모듈은 렌즈 어셈블리, 이미지 센서(120) 및 메인 기판(132)을 포함할 수 있다. 여기서, 렌즈 어셈블리는 도 3에 도시된 광학부(110)의 실시 예에 해당하며, 렌즈 배럴(112), 홀더(114), 제1 렌즈(L1) 및 제2 렌즈(L2)를 포함할 수 있으며, 이들 중 적어도 어느 하나의 구성은 생략되거나 서로 상하 배치관계가 변경될 수도 있다.
렌즈 어셈블리는 카메라 모듈의 외부로부터 입사되는 광을 통과시켜 이미지 센서(120)에 광신호를 전달할 수 있다. 렌즈 어셈블리는 적어도 하나의 렌즈를 포함할 수 있다. 렌즈 어셈블리에 포함된 렌즈들은 하나의 광학계를 형성하고 이미지 센서(120)의 광축을 중심으로 정렬될 수 있다.
렌즈 배럴(112)은 홀더(114)와 결합되며, 내부에 제1 렌즈(L1) 및 제2 렌즈(L2)를 수용할 수 있는 공간을 구비할 수 있다. 렌즈 배럴(112)은 제1 렌즈(L1) 및 제2 렌즈(L2)와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제를 이용한 방식 등 다른 방식으로 결합될 수 있다.
제1 렌즈(L1)는 제2 렌즈(L2)의 전방에 배치될 수 있다. 제1 렌즈(L1)는 적어도 하나의 렌즈로 구성될 수 있고, 또는 2개 이상의 복수의 렌즈들이 중심축을 기준으로 정렬하여 광학계를 형성할 수도 있다. 여기서, 중심축은 카메라 모듈의 광학계의 광축(Optical axis)과 동일할 수 있다. 제1 렌즈(L1)는 도 4에 도시된 바와 같이 1개의 렌즈로 이루어질 수 있으나, 반드시 이에 한정되지는 않는다.
제2 렌즈(L2)는 제1 렌즈(L1)의 후방에 배치될 수 있다. 카메라 모듈의 외부로부터 제1 렌즈(L1)로 입사하는 광은 제1 렌즈(L1)를 통과하여 제2 렌즈(L2)로 입사할 수 있다. 제2 렌즈(L2)는 적어도 하나의 렌즈로 구성될 수 있고, 또는 2개 이상의 복수의 렌즈들이 중심축을 기준으로 정렬하여 광학계를 형성할 수도 있다. 여기서, 중심축은 카메라 모듈의 광학계의 광축과 동일할 수 있다. 제2 렌즈(L2)는 도 4에 도시된 바와 같이 1개의 렌즈로 이루어질 수 있으나, 반드시 이에 한정되지는 않는다.
제1 렌즈(L1) 및 제2 렌즈(L2)를 액체 렌즈와 구별하기 위하여 '제1 고체 렌즈' 및 '제2 고체 렌즈'라고 각각 칭할 수도 있다.
도 4에서, 렌즈 어셈블리는 2개의 렌즈(L1, L2)를 포함하는 것으로 도시되어 있으나, 실시 예는 이에 국한되지 않는다. 다른 실시 예에 의하면, 렌즈 어셈블리는 1개의 렌즈만을 포함할 수도 있고, 3개 이상의 렌즈를 포함할 수도 있다.
홀더(114)는 적어도 하나의 렌즈를 수용하여 지지하는 역할을 한다. 홀더(114)는 렌즈 배럴(112)과 결합되어 렌즈 배럴(112)을 지지하고, 이미지 센서(120)가 부착된 메인 기판(132)에 결합될 수 있다.
홀더(114)는 나선형 구조를 포함하고, 마찬가지로 나선형 구조를 포함하는 렌즈 배럴(112)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 홀더(114)와 렌즈 배럴(1123)은 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 통해 결합되거나, 홀더(114)와 렌즈 배럴(112)이 일체형으로 형성될 수도 있다.
이미지 센서(120)는 도 3에 도시된 이미지 센서(120)에 해당한다. 이미지 센서(120)는 메인 기판(132)에 장착되고, 렌즈 어셈블리를 통과한 광 신호를 수신하여 광 신호에 대응하는 전기 신호로 변환하는 픽셀 어레이, 픽셀 어레이에 포함된 복수의 픽셀을 구동하는 구동 회로 및 각 픽셀의 아날로그 픽셀 신호를 리드(read)하는 리드아웃회로를 포함할 수 있다. 리드아웃 회로는 아날로그 픽셀 신호를 기준 신호와 비교하여 아날로그-디지털 변환을 통해 디지털 픽셀 신호(또는 영상 신호)를 생성할 수 있다. 여기서, 픽셀 어레이에 포함된 각 픽셀의 디지털 픽셀 신호는 영상 신호를 구성하며, 영상 신호는 프레임 단위로 전송됨에 따라 이미지 프레임으로 정의될 수 있다. 즉, 이미지 센서는 복수의 이미지 프레임을 출력할 수 있다.
메인 기판(132)은 홀더(114)의 하부에 배치되고, 제어부(130)와 함께 각 구성간의 전기 신호의 전달을 위한 배선을 포함할 수 있다. 또한, 메인 기판(132)에는 카메라 모듈 외부의 전원 또는 기타 다른 장치(예를 들어, application processor)와 전기적으로 연결하기 위한 커넥터(미도시)가 연결될 수 있다.
메인 기판(132)은 RFPCB(Rigid Flexible Printed Circuit Board)로 구성되고 카메라 모듈이 장착되는 공간이 요구하는 바에 따라 벤딩(bending)될 수 있으나, 실시 예는 이에 한정되지 않는다.
또한, 카메라 모듈은 IR(적외선)을 투과시키거나 차단 시키는 필터(116)를 더 포함할 수 있다. 이를 위해, 필터(116)는 글래스로 구현될 수 있다. 필터(116)는 제2 렌즈부(L2)를 통과한 광에 대해 특정 파장 범위에 해당하는 광을 필터링할 수 있다. 필터(116)는 홀더(114)의 내부 홈에 장착 및 고정될 수 있다. 이를 위해, 홀더(114)는 렌즈 배럴(112) 하부에 필터(116)가 부착될 수 있는 공간을 구비할 수 있다.
전술한 도 3 및 도 4에 도시된 카메라 모듈은 다양한 방법으로 광 경로를 변환시킬 수 있다.
일 실시 예에 의하면, 렌즈 어셈블리에 포함되는 적어도 하나의 렌즈는 가변 렌즈를 포함할 수 있다. 가변 렌즈는 제어부(130)의 제어에 따라 렌즈 어셈블리의 광 경로를 변경시킬 수 있다. 가변 렌즈는 이미지 센서(120)로 입사되는 광 경로를 변경 시킬 수 있으며, 예를 들어 광신호의 초점거리와 FOV(Field of View) 각도 또는 FOV의 방향 등을 변경시킬 수 있다. 예를 들어, 가변 렌즈는 액체 렌즈(liquid lens) 또는 가변 프리즘으로 구성될 수 있다. 가변 렌즈는 적어도 하나의 렌즈 및 적어도 하나의 렌즈와 결합된 액츄에이터로 구성될 수 있다. 여기서, 적어도 하나의 렌즈는 액체 렌즈일 수도 있고, 고체 렌즈일 수도 있다. 액츄에이터는 제어부(130)의 제어에 따라 결합된 적어도 하나의 렌즈의 물리적 변위를 제어할 수 있다. 즉, 액츄에이터는 적어도 하나의 렌즈와 이미지 센서(120) 사이의 거리를 조절하거나, 적어도 하나의 렌즈와 이미지 센서(120) 사이의 각도를 조절할 수 있다. 또는 액츄에이터는 적어도 하나의 렌즈를 이미지 센서(120)의 픽셀 어레이가 이루는 평면의 x축 및 y 축 방향으로 이동(shift)시킬 수 있다. 또한, 엑츄에이터는 이미지 센서(120)의 픽셀 어레이로 입사되는 광의 경로를 변경시키는 역할을 수행할 수 있다. 예를 들어, 가변 렌즈에 포함되는 적어도 하나의 렌즈에 액체 렌즈가 포함되지 않을 경우, 즉, 가변 렌즈에 포함되는 적어도 하나의 렌즈가 모두 고체 렌즈일 경우, 액츄에이터는 적어도 하나의 렌즈를 제어부(130)로부터 출력되는 제1 제어 신호(C1)에 따라 수직 방향 또는 수평 방향 중 적어도 하나의 방향으로 이동시킬 수 있다.
가변 렌즈는 제1 위치(P1) 내지 제4 위치(P4) 중 어느 하나에 배치될 수 있다. 그러나, 이는 예시적인 것이며, 제1 렌즈부(L1), 제2 렌즈부(L2), 필터(116)의 유무 및 상대적인 위치에 따라, 가변 렌즈는 다른 곳에 위치할 수도 있다. 다만, 가변 렌즈는 렌즈 어셈블리로 입사되는 광이 통과하는 영역인 광 경로 상에 위치하여 초점 거리 또는 FOV 각도를 변경시킬 수 있다. 제1 위치(P1)는 렌즈 배럴(112)의 외부에 해당하는 위치이고, 제2 위치(P2)는 렌즈 배럴(112)의 내부에서 제1 렌즈부(L1)의 상부에 해당하는 위치이다. 제3 위치(P3)는 렌즈 배럴(112)의 내부에서 제1 렌즈부(L1)와 제2 렌즈부(L2)의 사이에 해당하는 위치이고, 제4 위치(P4)는 렌즈 배럴(112)의 내부에서 제2 렌즈부(L2)의 하부에 해당하는 위치이다.
또는, 다른 실시 예에 의하면, 제어부(130)의 제어 하에, 렌즈 배럴(112), 홀더(114) 또는 필터(116)를 상/하/좌/우측으로 액츄에이터(미도시)를 이용하여 이동시킴으로써, 이미지 센서(120)로 입사되는 광 경로를 변경 시킬 수 있으며, 예를 들어 광신호의 초점거리와 FOV(Field of View) 각도 또는 FOV의 방향 등을 변경시킬 수 있다.
이하, 도 4를 참조하여 광학부(110)의 FOV 각도를 변경시키는 동작을 다음과 같이 설명한다.
도 4를 참조하면, 렌즈 어셈블리는 특정 FOV(Field of View)를 가질 수 있다. FOV는 이미지 센서(120)가 렌즈 어셈블리를 통해 캡쳐할 수 있는 입사광의 범위를 의미하며, FOV 각도로 정의될 수 있다. 통상적인 렌즈 어셈블리의 FOV 각도는 60° 내지 140°의 범위를 가질 수 있다. 렌즈 어셈블리를 위에서(즉, 광축에 수직한 방향에서) 바라볼 때의 x축과 y축을 가정한다면, FOV 각도는 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)를 포함할 수 있다. 제1 FOV 각도(Fx)는 x축을 따라 정해지는 FOV의 각도를 의미하고, 제2 FOV 각도(Fy)는 y축을 따라 정해지는 FOV의 각도를 의미한다.
이미지 센서(120)의 픽셀 어레이에 포함된 복수의 픽셀들은 N x M (여기서, N, M은 각각 1이상의 정수)의 매트릭스 형태로 배열될 수 있다. 즉, N개의 픽셀들이 x축을 따라 배치되고, M개의 픽셀들이 y축을 따라 배치될 수 있다. 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)에 해당하는 FOV를 통해 입사되는 광 신호는 N x M의 픽셀 어레이로 입사된다.
렌즈 어셈블리를 통과하는 광 경로 또는 렌즈 어셈블리의 FOV는 제어 신호(C1)에 의해 변경될 수 있다. 제어 신호(C1)는 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)를 각각 변경시킬 수 있으며, 제어 신호(C1)에 따른 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)의 변화는 제1 각도 변화량(θI_x) 및 제2 각도 변화량(θI_y)에 의해 결정된다.
제1 각도 변화량(θI_x) 및 제2 각도 변화량(θI_y)은 각각 다음의 수학식 1 및 수학식 2에 의해 정의될 수 있다.
Figure 112018019273948-pat00007
Figure 112018019273948-pat00008
여기서, a는 0.1보다 크고 0.5보다 작고, b는 1보다 크고 2보다 작은 값을 가질 수 있으나, 실시 예의 범위는 이에 한정되지 않는다.
이때, θI_x 와 θI_y 는 광학부(110)가 광 경로를 변경함으로써 야기되는 이미지 센서(120)가 생성하는 이미지에 대한 변환 각도로서, 실제로 광학부(110)가 광 경로를 변경하는 각도는 이보다 크거나 작을 수 있다.
그러나, 실시 예에 의한 카메라 모듈 및 그의 초해상도 영상 처리 방법은, 광학부(110)에서 광의 경로를 변경하는 특정한 구성이나 방법에 국한되지 않는다.
도 5는 도 2에 도시된 영상 획득부(100)의 다른 실시 예(100B)에 의한 블럭도를 나타낸다.
도 5에 도시된 영상 획득부(100B)는 피사체에 대한 광을 서로 다른 경로에서 동시에 센싱하여 복수의 이미지 프레임을 획득할 수 있다. 이를 위해, 영상 획득부(100B)는 제1 내지 제H 광학부(110-1 내지 110-H) 및 제1 내지 제H 이미지 센서(120-1 내지 120-H)를 포함할 수 있다. 여기서, H는 2이상의 양의 정수이다.
제1 내지 제H 광학부(110-1 내지 110-H) 각각은 피사체 대한 광이 진행하는 경로를 형성한다. 이때, 제1 내지 제H 광학부(110-1 내지 110-H)에서 광이 진행하는 경로는 서로 다르다.
제1 내지 제H 이미지 센서(120-1 내지 120-H)는 제1 내지 제H 광학부(110-1 내지 110-H)를 통해 입사된 광을 각각 센싱하고, 센싱된 결과를 출력단자 OUT2를 통해 영상 생성부(200)로 출력한다. 출력단자 OUT2를 통해 영상 생성부(200)로 동시에 출력되는 센싱된 결과는 서로가 서브 픽셀 간격으로 공간 위상차를 갖는 복수의 이미지 프레임에 해당할 수 있다.
제10 단계 이후, 영상 생성부(200)는 영상 획득부(100)에서 획득된 복수의 이미지 프레임 각각의 해상도보다 높은 해상도를 갖는 영상 데이터를 영상 획득부(100)에서 획득된 복수의 이미지 프레임을 이용하여 생성하고, 생성된 결과를 깊이 정보 추출부(300)로 출력할 수 있다(제20 단계).
이하, 제20 단계 및 영상 획득부(100)의 실시 예를 다음과 같이 설명한다.
도 6은 영상 획득부(100)의 일 실시 예에 의한 동작 방법을 설명하기 위한 도면이다. 도 7은 도 6에서 설명되는 영상 획득부(100)의 동작 방법을 보다 상세히 설명하기 위한 도면이다.
도 6을 참조하면, 공간 위상차를 갖는 복수의 이미지 프레임을 이용하여 초해상도(super resolution) 이미지를 얻을 수 있는 방법의 모식도가 도시되어 있다.
이미지 센서(120, 120-1 내지 120-H)의 픽셀 어레이는 N x M의 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있다. 이하의 설명에서는 설명의 편의상 도 6에서와 같이 픽셀 어레이가 2 x 2의 매트릭스 형태로 배치된 복수의 픽셀들(A1 내지 A4)을 포함한다고 가정하기로 한다.
각 픽셀(A1 내지 A4)은 렌즈 어셈블리를 통해 전달되는 광 신호를 통해 각 픽셀 장면(PS1 내지 PS4)에 대한 이미지 정보(즉, 광 신호에 대응하는 아날로그 픽셀 신호)를 생성할 수 있다.
x축 방향(또는 y축 방향)으로 인접하는 픽셀 간의 거리(예를 들어 픽셀 중심 간의 거리)를 1 PD(픽셀 거리)라 할 때, 그 절반은 0.5 PD에 해당한다. 여기서, 제1 내지 제4 픽셀이동(A 내지 D)을 정의하기로 한다.
제1 픽셀이동(A)은 각 픽셀(A1 내지 A4)을 +x축 방향을 따라 우측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제1 픽셀이동(A)이 완료된 후의 픽셀은 B1 내지 B4이다.
제2 픽셀이동(B)은 각 픽셀(B1 내지 B4)을 +y축 방향을 따라 아래로 0.5 PD 만큼 이동시키는 것을 의미하며, 제2 픽셀이동(B)이 완료된 후의 픽셀은 C1 내지 C4이다.
제3 픽셀이동(C)은 각 픽셀(C1 내지 C4)을 -x축 방향을 따라 좌측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제3 픽셀이동(C)이 완료된 후의 픽셀은 D1 내지 D4이다.
제4 픽셀이동(D)은 각 픽셀(D1 내지 D4)을 -y축 방향을 따라 위로 0.5 PD 만큼 이동시키는 것을 의미하며, 제4 픽셀이동(D)이 완료된 후의 픽셀은 A1 내지 A4이다.
여기서, 픽셀 이동은 픽셀 어레이의 픽셀의 물리적 위치를 이동시키는 것이 아니라, 두 픽셀(예를 들어, A1과 A2) 사이의 가상의 픽셀(예를 들어, B1)이 픽셀 장면을 획득할 수 있도록 도 3에서와 같이 광의 진행 경로를 변경하거나, 도 5에서와 같이 서로 다른 광 경로를 갖는 복수의 광학부(110-1 내지 110-H)를 통해 광이 진행하는 동작을 의미할 수 있다.
도 7을 참조하면, 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(120, 120-1 내지 120-H)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제1 이미지 프레임(F1)을 생성할 수 있다.
제1 픽셀이동(A)을 위해 도 3에 도시된 광학부(110)는 광 경로 또는 FOV를 제1 각도 변화량(θI_x)만큼 우측으로 변경시키도록 하는 제어 신호(C1)에 따라, 도 4에 도시된 렌즈 어셈블리의 광 경로 또는 FOV를 제1 각도 변화량(θI_x)만큼 우측으로 변경시킴으로써 제1 픽셀 이동(A)이 수행될 수 있다. 또는, 제1 픽셀이동(A)을 위해 도 4에 도시된 제1 및 제2 광학부(110-1, 110-2)의 광 경로 또는 FOV가 제1 각도 변화량(θI_x)만큼의 차이를 가질 수 있다. 이후 각 픽셀(B1 내지 B4)은 픽셀 장면(S2)을 획득하여 이미지 센서(120, 120-1 내지 120-H)는 각 픽셀(B1 내지 B4)의 픽셀 신호로부터 제2 프레임(F2)을 생성할 수 있다.
제2 픽셀이동(B)을 위해 도 3에 도시된 광학부(110)는 광 경로 또는 FOV를 제2 각도 변화량(θI_y)만큼 아래로 변경시키도록 하는 제어 신호(C1)에 따라, 도 4에 도시된 렌즈 어셈블리의 광 경로 또는 FOV를 제2 각도 변화량(θI_y)만큼 아래로 변경시킴으로써 제2 픽셀 이동(B)이 수행될 수 있다. 또는, 제2 픽셀이동(B)을 위해 도 4에 도시된 제2 및 제3 광학부(110-2, 110-3)의 광 경로 또는 FOV가 제2 각도 변화량(θI_y)만큼의 차이를 가질 수 있다. 이후 각 픽셀(C1 내지 C4)은 픽셀 장면(S3)을 획득하여 이미지 센서(120, 120-1 내지 120-H)는 각 픽셀(C1 내지 C4)의 픽셀 신호로부터 제3 프레임(F3)을 생성할 수 있다.
제3 픽셀이동(C)을 위해 도 3에 도시된 광학부(110)는 광 경로 또는 FOV를 제1 각도 변화량(θI_x)만큼 좌측으로 변경시키도록 하는 제어 신호(C1)에 따라, 도 4에 도시된 렌즈 어셈블리의 광 경로 또는 FOV를 제1 각도 변화량(θI_x)만큼 좌측으로 변경시킴으로써 제3 픽셀 이동(C)이 수행될 수 있다. 또는, 제3 픽셀이동(C)을 위해 도 4에 도시된 제3 및 제4 광학부(110-3, 110-4)의 광 경로 또는 FOV가 제2 각도 변화량(θI_x)만큼의 차이를 가질 수 있다. 이후 각 픽셀(D1 내지 D4)은 픽셀 장면(S4)을 획득하여 이미지 센서(120, 120-1 내지 120-H)는 각 픽셀(D1 내지 D4)의 픽셀 신호로부터 제4 프레임(F4)을 생성할 수 있다.
제4 픽셀이동(D)을 위해 도 3에 도시된 광학부(110)는 광 경로 또는 FOV를 제2 각도 변화량(θI_y)만큼 위로 변경시키도록 하는 제어 신호(C1)에 따라, 도 4에 도시된 렌즈 어셈블리의 광 경로 또는 FOV를 제2 각도 변화량(θI_y)만큼 위로 변경시킴으로써 제4 픽셀 이동(D)이 수행될 수 있다. 또는, 제4 픽셀이동(D)을 위해 도 4에 도시된 제4 및 제1 광학부(110-4, 110-1)의 광 경로 또는 FOV가 제2 각도 변화량(θI_y)만큼의 차이를 가질 수 있다. 이후 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(120, 120-1 내지 120-H)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제5 프레임(F5)을 생성할 수 있다. 이후로도 픽셀 이동 및 이동된 픽셀을 통한 프레임 생성 동작은 반복적으로 수행될 수 있다.
여기서, 제1 각도 변화량(θI_x)과 제2 각도 변화량(θI_y) 각각은 0.5 PD 만큼 픽셀 이동이 이루어질 수 있도록 광 경로 변경 정도에 대응되는 정보가 저장되어 있을 수 있으며, 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)를 기초로 미리 계산되어 저장(예를 들어, 이미지 센서(120) 또는 제어부(130)에 의해)될 수 있다.
도 3에 도시된 이미지 센서(120)는 제1 영역과 제2 영역을 포함하고, 제어부(130)는 외부로부터 입사되어 렌즈 어셈블리를 통과하는 광이 이미지 센서(120)의 제1 영역에서 제2 영역으로 그 경로가 변경되도록 광학부(110)를 제어하는 제어 신호(C1)를 출력할 수 있다. 또한, 이미지 센서(120)는 제3 영역과 제4 영역을 더 포함하고, 제어부(130)는 이미지 센서(120)의 제2 영역에서 제3 영역으로 광의 경로가 변경되도록 광학부(110)를 제어하는 제어 신호(C1)를 출력하고, 제3 영역에서 제4 영역으로 광의 경로가 변경되도록 광학부(110)를 제어하는 제어 신호(C1)를 출력할 수 있다. 제어 신호(C1)는 렌즈 어셈블리의 화각(FOV)을 제1 방향으로 변경시키는 신호, 렌즈 어셈블리의 화각을 제2 방향으로 변경시키는 신호, 렌즈 어셈블리의 화각을 제3 방향으로 변경시키는 신호, 렌즈 어셈블리의 화각을 제4 방향으로 변경시키는 신호를 포함할 수 있다.
영상 생성부(200)는 제1 내지 제4 프레임을 합성함으로써 N x M의 픽셀 어레이가 아닌 2N x 2M의 픽셀 어레이가 획득한 이미지를 생성할 수 있다. 영상 생성부(200)가 제1 내지 제4 프레임을 합성하는 방법은, 제1 내지 제4 프레임을 각 픽셀의 위치에 따라 단순 병합(예를 들어, 첫 번째 행의 경우 A1의 픽셀 신호, B1의 픽셀 신호, A2의 픽셀 신호, B2의 픽셀 신호로 배열하여 하나의 프레임으로 생성)하는 방법, 또는 인접하는 픽셀의 경우 픽셀 장면이 오버랩됨을 이용하여 어느 하나의 픽셀(예컨대, C1)의 픽셀 신호를 인접하는 픽셀(예컨대, A1, B1, A2, D1, D2, A3, B3, A4)의 픽셀 신호를 이용해 보정하는 방법 등이 이용될 수 있으나, 실시 예의 범위는 이에 한정되지 않고 다양한 초해상도 이미지 생성 방법이 이용될 수 있다.
영상 생성부(200)는 후 처리기로 부를 수 있으며, 후처리기는, 이미지 센서(120, 120-1 내지 120-H)로부터 전달된 복수의 이미지 프레임 중 일부를 이용하여 제1 초해상도 이미지 프레임을 합성하고, 이후 이미지 센서(120, 120-1 내지 120-H)로부터 출력되는 복수의 이미지 프레임 중 타부를 이용하여 제2 초해상도 이미지 프레임을 합성할 수 있다.
도 6과 도 7에 따르면, 픽셀 이동을 통해 획득한 복수의 이미지 프레임을 합성함으로써 4배의 해상도를 갖는 이미지를 생성할 수 있다.
도 8은 일 실시 예에 따른 카메라 모듈의 동작 방법에 대한 타이밍도이다.
도 8을 참조하면, 제어부(130)는 제어 신호(C1)에 따라 광학부(110)에서 제4 픽셀 이동(D)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(120)로 제어 신호(C2)로서 전달할 수 있다. 이때, 제어부(130)는 제4 픽셀 이동(D)이 완료되었음을 렌즈 어셈블리로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(120)의 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(120)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제1 이미지 프레임(F1)을 생성할 수 있다. 동일한 방법으로 제2 내지 제5 프레임(F2 내지 F5)이 생성될 수 있다. 이후로도 픽셀 이동 및 이동된 픽셀을 통한 프레임 생성 동작은 반복적으로 수행될 수 있다.
특히, 제어부(130)의 제어 신호(C1)의 전송은, 이미지 센서(120)에 의한 이미지 프레임의 생성이 완료되어 제어 신호(C1)를 광학부(110)로 전송할 것을 지시하는 동기 신호를 제어 신호(C2)로서 이미지 센서(120)가 전송하는 경우 수행될 수 있다. 즉, 픽셀 이동, 프레임 생성, 이후의 픽셀 이동의 순차적인 동작은 제어 신호(C1, C2)의 송수신을 통해 동기화됨으로써 진행될 수 있다.
실시 예에 의하면, 영상 생성부(200)는 전술한 바와 같이 획득된 복수의 이미지 프레임을 이용하여 다음 수학식 3과 같은 세기를 갖는 높은 해상도를 갖는 초해상도 영상 데이터를 생성할 수 있다.
Figure 112018019273948-pat00009
여기서, xØ는 영상 생성부(200)에서 생성된 영상 데이터의 세기를 나타내고, 1 ≤ k ≤ p이고, p는 영상 데이터를 생성하기 위해 사용된 공간 위상차를 갖는 복수의 이미지 프레임의 개수로서, 2이상의 양의 정수이고, Ø는 위상 지연 정도를 나타낸다. P개의 이미지 프레임 각각이 I개의 서브 프레임을 포함하고, I=9이고, p=4일 때, Ø는 다음 수학식 4와 같이 표현될 수 있다.
Figure 112018019273948-pat00010
여기서, Q는 서브 프레임의 세기를 나타낸다.
또한, 전술한 수학식 3에서, D-1은 D의 역행렬을 나타내고, D는 이미지 센서(120 또는 120-1 내지 120-H)의 픽셀의 크기를 나타내고, BK -1은 BK의 역행렬을 나타내고, BK는 깊이 정보에 대한 광학 특성을 나타내고, nK는 복수의 이미지 프레임이 갖는 잡음 성분을 나타내고, AK는 p개의 이미지 프레임 중 k번째 이미지 프레임의 세기를 나타낸다. AK는 다음 수학식 5와 같이 표현될 수 있다.
Figure 112018019273948-pat00011
제20 단계 이후, 깊이 정보 추출부(300)는 영상 생성부(200)에서 생성된 초해상도 영상 데이터를 이용하여 피사체에 대한 깊이 정보를 추출한다(제30 단계).
실시 예에 의하면, I=9이고, p=4일 때, 깊이 정보 추출부(300)는 다음 수학식 6과 같이 깊이 정보를 산출할 수 있다.
Figure 112018019273948-pat00012
여기서, x는 깊이 정보를 나타내고, c는 광속을 나타내고, f는 주파수를 나타낸다.
전술한 실시 예에 의한 고해상도 영상 처리 방법은 전술한 수학식 5의 Ak를 이용하여 수학식 3에서와 같이 고해상도를 갖는 영상 데이터를 구한다. 이후, 수학식 3에서와 같이 고해상도를 갖는 영상 데이터를 이용하여, 전술한 수학식 6에서와 같이 깊이 정보(x)를 구한다.
한편, 실시 예에 의한 초해상도 영상 처리 방법은 깊이 정보를 칼리브레이션(calibration)하는 단계(이하, '칼리브레이션 단계'라 한다)를 더 포함할 수 있다. 이러한 칼리브레이션을 단계는 전술한 제30 단계에서 수행될 수 있지만, 실시 예는 이에 국한되지 않는다.
이하, 실시 예에 의한 칼리브레이션 단계를 첨부된 도 9 및 도 10을 참조하여 다음과 같이 설명한다. 설명의 편의상 P=4이고, I=9라고 가정한다. 여기서, 1 ≤ i ≤ I이다.
도 9는 실시 예에 의한 초해상도 영상 처리 방법에서 칼리브레이션 단계의 일 실시 예를 설명하기 위한 플로우차트이고, 도 10 (a) 및 (b)는 도 9에 도시된 칼리브레이션 단계의 이해를 돕기 위한 파형도이다. 도 10 (a)는 피사체를 향해 방출한 광 신호의 파형도를 나타내고, 도 10 (b)는 이미지 센서(120, 120-1 내지 120-H)에서 수광된 광 신호의 파형도를 나타낸다.
먼저, 제1 로우(raw) 데이터에 대해 렌즈 칼리브레이션을 수행한다(제410 단계). 여기서, 제1 로우 데이터란, 단위 이미지 프레임의 도 10 (a) 및 (b)에 도시된 제1 주파수(f1)에서의 I개의 서브 프레임 중에서 왼쪽 4개의 서브 프레임에 대한 데이터를 의미한다. 즉, i=1 내지 i=4까지의 서브 프레임이 제1 로우 데이터에 해당한다. 렌즈 칼리브레이션이란, 광학부(110, 110-1 내지 110-H)에 포함된 렌즈에 대한 정확한 좌표를 칼리브레이션하는 동작을 의미한다.
제410 단계를 수행한 이후, 제1 로우 데이터에 대해 픽셀 칼리브레이션을 수행한다(제420 단계). 픽셀 칼리브레이션이란, 이미지 센서(120, 120-1 내지 120-H)의 각 픽셀별로 발생하는 편차를 칼리브레이션하는 동작을 의미한다.
제420 단계를 수행한 이후, 제1 로우 데이터에 대해 타이밍 칼리브레이션을 수행한다(제430 단계). 타이밍 칼리브레이션이란, 이미지 센서(120, 120-1 내지 120-H)의 각 픽셀별로 신호를 수신한 타이밍에 대한 편차를 칼리브레이션하는 동작을 의미한다.
제430 단계를 수행한 이후, 제1 로우 데이터에 대해 위상 칼리브레이션을 수행한다(제440 단계). 위상 칼리브레이션이란, 이미지 센서(120, 120-1 내지 120-H)의 각 픽셀별로 다른 수학식 4의 위상 지연 정도(Ø) 간의 편차를 칼리브레이션하는 동작을 의미한다.
제440 단계를 수행한 이후, 제1 로우 데이터에 대해 칼리브레이션된 결과를 저장한다(제450 단계).
제450 단계를 수행한 이후, 제2 로우 데이터에 대해서도 전술한 렌즈, 픽셀, 타이밍, 위상 칼리브레이션을 수행한다(제460 단계 내지 제490 단계). 여기서, 제2 로우 데이터란, 도 10 (a) 및 (b)를 참조하면 제2 주파수(f2)에서의 I개의 서브 프레임 중에서 왼쪽으로부터 5번째부터 8번째까지의 서브 프레임에 대한 데이터를 의미한다. 즉, i=5 내지 i=8까지의 서브 프레임이 제2 로우 데이터에 해당한다. 제1 주파수(f1)와 제2 주파수(f2)는 서로 다르며, 예를 들어, 제1 주파수(f1)는 80㎒이고, 제2 주파수(f2)는 60 ㎒일 수 있으나, 실시 예는 이에 국한되지 않는다.
제450 단계를 수행한 이후, 제2 로우 데이터에 대해 렌즈 칼리브레이션을 행한다(제460 단계). 제460 단계를 수행한 이후, 제2 로우 데이터에 대해 픽셀 칼리브레이션을 수행한다(제470 단계). 제470 단계를 수행한 이후, 제2 로우 데이터에 대해 타이밍 칼리브레이션을 수행한다(제480 단계). 제480 단계를 수행한 이후, 제2 로우 데이터에 대해 위상 칼리브레이션을 수행한다(제490 단계). 제490 단계를 수행한 이후, 제2 로우 데이터에 대해 칼리브레이션된 결과를 저장한다(제500 단계).
제500 단계를 수행한 이후, 제3 로우 데이터에 대해서도 전술한 렌즈 및 픽셀 칼리브레이션을 수행한다(제510 단계 및 제520 단계). 여기서, 제3 로우 데이터란, 도 10 (a) 및 (b)를 참조하면 I개의 서브 프레임 중에서 가장 오른쪽 서브 프레임에 대한 데이터를 의미한다. 즉, i=9의 서브 프레임이 제3 로우 데이터에 해당한다.
제500 단계를 수행한 이후, 제3 로우 데이터에 대해 렌즈 칼리브레이션을 행한다(제510 단계). 제510 단계를 수행한 이후, 제3 로우 데이터에 대해 픽셀 칼리브레이션을 수행한다(제520 단계). 제520 단계를 수행한 이후, 제3 로우 데이터에 대해 잡음을 제거하는 칼리브레이션을 수행한다(제530 단계).
제530 단계 후에, 제1, 제2 및 제3 로우 데이터 각각에 대해 칼리브레션이 수행된 결과를 합성한다(제540 단계). 제540 단계를 수행한 이후, 깊이 정보에 대해 칼리브레이션을 수행한다(제550 단계).
전술한 제1, 제2 및 제3 로우 데이터는 기본적인 영상 신호 처리(ISP:Image Signal Processing)를 진행한 이후의 데이터를 의미할 수 있다.
다른 실시 예에 의하면, 제1 내지 제3 로우 데이터 각각에 대한 칼리브레이션은 동시에 수행될 수도 있다. 즉, 제410 내지 제440 단계가 수행되는 동안, 제460 내지 제490 단계가 수행됨과 동시에 제510 내지 제530 단계가 수행될 수도 있다.
이하, 비교 례 및 실시 예에 의한 초해상도 영상 처리 방법을 다음과 같이 첨부된 도면을 참조하여 설명한다. 설명의 편의상 P=4이고, I=9라고 가정한다.
도 11 (a)는 로우 데이터를 나타내고, 도 11 (b)는 이미지 센서(120, 120-1 내지 120-H)에서 센싱되어 출력되는 전하의 세기를 나타낸다.
도 11 (a)에 도시된 로우 데이터는 공간 위상차를 갖는 복수의 이미지 프레임 중에서 k번째 이미지 프레임에 대한 것으로서, k번째 이미지 프레임은 9개(I=9)의 서브 프레임을 갖는다. 따라서, Aki란, k번째 이미지 프레임에 포함된 서브 프레임 중에서, i번째 서브 프레임의 세기를 나타낸다.
도 11 (a) 및 (b)를 참조하면, Ak2, Ak3, Ak4, Ak5 (i=2 ~ 5)는 제1 주파수(f1)에서 제1, 제2, 제3 및 제4 각도만큼 게이트된(gated) 위상에서 획득된 세기 로우 데이터 행렬(즉, 서브 프레임의 세기 행렬)을 의미한다. Ak6, Ak7, Ak8, Ak9는 제2 주파수(f2)에서 제1, 제2, 제3 및 제4 각도만큼 게이트된 위상에서 획득된 세기 로우 데이터 행렬을 의미한다. 예를 들어, 제1, 제2, 제3 및 제4 각도는 0°, 90°, 180°및 270°각각 일 수 있으나, 실시 예는 이에 국한되지 않는다.
도 11 (b)에서 종축은 이미지 센서(120, 120-1 내지 120-H)에서 센싱되어 출력되는 전하의 개수(P)를 9개의 서브 프레임별로 나타낸다.
비교 례에 의한 초해상도 영상 처리 방법에 의하면, 서로가 서브 픽셀 간격으로 공간 위상차를 갖는 복수의 이미지 프레임의 전술한 수학식 5와 같이 표현되는 프레임의 세기(Ak)를 이용하여 다음 수학식 7와 같이 표현되는 깊이 정보를 생성한다.
Figure 112018019273948-pat00013
여기서, yk는 깊이 정보를 나타낸다.
이후, 수학식 7의 yk를 이용하여 다음 수학식 8와 같이 표현되는 초해상도를 갖는 영상 데이터를 생성한다.
Figure 112018019273948-pat00014
여기서, x는 초해상도 영상 데이터에 해당하고, 1 ≤ k ≤ p이고, p는 초해상도를 갖는 영상 데이터를 생성하기 위해 이용된 이미지 프레임의 개수를 나타내고, Mk'-1은 Mk'의 역행렬을 나타내고, Mk'는 깊이 점상 강도 분포 함수(PSF:Point Spread Function)를 나타내며 블러(blur)를 포함할 수 있고, D'-1은 D'의 역행렬을 나타내고, D'는 이미지 센서의 픽셀의 크기를 나타내고, Bk'-1은 Bk'의 역행렬을 나타내고, Bk'는 깊이 정보에 대한 광학 특성을 나타내고, nk는 복수의 이미지 프레임이 갖는 잡음 성분을 나타내고, Ak는 전술한 수학식 5와 같이 표현될 수 있다.
도 12 (a) 내지 (c)는 비교 례에 의한 초해상도 영상 처리 방법을 설명하기 위한 도면으로서, 도 12 (a)는 도 11에 도시된 로우 데이터와 전하의 세기를 나타낸다.
즉, 비교 례의 경우, 도 9 (a)에 도시된 첫 번째(k=1) 이미지 프레임에 대해 수학식 7와 같은 제1 깊이 정보(y1)를 도 9 (b)에 도시된 바와 같이 구한 후, 도 9 (a)에 도시된 두 번째(k=2) 이미지 프레임에 대해 수학식 7와 같은 제2 깊이 정보(y2)를 도 9 (b)에 도시된 바와 같이 구한 후, 도 9 (a)에 도시된 세 번째(k=3) 이미지 프레임에 대해 수학식 7와 같은 제3 깊이 정보(y3)를 도 9 (b)에 도시된 바와 같이 구한 후, 도 9 (a)에 도시된 네 번째(k=4) 이미지 프레임에 대해 수학식 7와 같은 제4 깊이 정보(y4)를 도 9 (b)에 도시된 바와 같이 구한다.
이후, 제1 내지 제4 깊이 정보(y1 내지 y4)를 수학식 8에 대입하여 초해상도를 갖는 도 12 (c)에 도시된 영상을 얻을 수 있다.
전술한 비교 례에 의한 초해상도 영상 처리 방법은 영상 정보를 깊이 정보로 변환하는 수학식 7의 연산 과정을 p번 수행하므로, 연산량이 커지는 문제점을 갖는다. 또한, 깊이 정보를 추출한 이후에도, 수학식 8에서와 같이 Mk'에 대한 추가적인 모델링을 수행해야 한다. 또한, 깊이 정보에 대한 광학적 특성(예를 들어, Bk') 역시 이미지 PSF보다 복잡한 특성을 갖는다.
반면에, 실시 예에 의한 초해상도 영상 처리 방법에 의할 경우, I-ToF(Time of Flight) 방식에 의해 이미지 프레임으로부터 거리 정보(x)를 추출하는 과정의 중간에, 수학식 5과 같은 영상 데이터를 이용하여 전술한 수학식 3과 같은 초해상도를 갖는 영상 데이터(xØ)를 생성한다.
이후, 초해상도를 갖는 영상 데이터(xØ)를 이용하여 깊이 정보를 추출한다. 따라서, 실시 예에 의한 초해상도 영상 처리 방법은 I-ToF의 해상력 문제를 해결할 수 있다.
결국, 비교 례에서와 같이 깊이 정보를 추출한 이후 고해상도를 갖는 영상 데이터를 구할 경우, 연산량이 증가하게 된다. 왜냐하면, 깊이 정보가 추출된 결과는 기본적으로 고해상도 영상 데이터 외에도 부가 데이터를 가짐으로써 로직이 크기 때문이다. 반면에, 실시 예의 경우, 깊이 정보를 추출하기 이전에 고해상도를 갖는 로직이 작은 영상 데이터를 먼저 구하므로, 연산량이 감소할 수 있다.
도 13 (a) 내지 (c)은 실시 예에 의한 초해상도 영상 처리 방법을 설명하기 위한 도면이다. 도 13 (a)는 4개(P=4)의 이미지 프레임이 도시되어 있으며, 4개의 이미지 프레임 각각은 도 11에 도시된 로우 데이터와 전하의 세기와 동일하다.
실시 예에 의한 초해상도 영상 처리 방법은 도 13 (a)에 도시된 바와 같이 첫 번째(k=1) 이미지 프레임부터 네 번째 이미지 프레임(k=4)까지 4개의 이미지 프레임을 수학식 3에 대입하여 도 10 (b)에 도시된 초해상도를 갖는 영상 데이터(xØ)를 생성한다.
이후, 초해상도를 갖는 영상 데이터(xØ)를 수학식 6에 대입하여 깊이 정보(x)를 추출하므로, 비교 례에서와 같이 복잡한 깊이 데이터의 PSF인 수학식 8에서와 같은 Mk'를 모델링할 필요가 없다. 또한, 실시 예에 의한 초해상도 영상 처리 방법은 깊이 정보 추출을 위한 광학적 PSF의 복잡성을 제거할 수 있다. 또한, 비교 례의 경우, 수학식 7에서와 같은 연산(tan-1)이 반복적으로 수행되는 반면, 실시 예의 경우 전술한 수학식 6에서와 같은 연산(tan-1)이 1회만 수행된다. 따라서, 실시 예에 의한 초해상도 영상 처리 방법에 의할 경우, 영상 처리를 위한 연산 시간이 줄어들고, 동일한 구성에서 영상 처리가 고속으로 수행될 수 있다.
실시 예와 관련하여 전술한 바와 같이 몇 가지만을 기술하였지만, 이외에도 다양한 형태의 실시가 가능하다. 앞서 설명한 실시 예들의 기술적 내용들은 서로 양립할 수 없는 기술이 아닌 이상은 다양한 형태로 조합될 수 있으며, 이를 통해 새로운 실시형태로 구현될 수도 있다.
예를 들어, 전술한 카메라 모듈을 포함한 광학 기기(Optical Device, Optical Instrument)를 구현할 수 있다. 여기서, 광학 기기는 광신호를 가공하거나 분석할 수 있는 장치를 포함할 수 있다. 광학 기기의 예로는 카메라/비디오 장치, 망원경 장치, 현미경 장치, 간섭계 장치, 광도계 장치, 편광계 장치, 분광계 장치, 반사계 장치, 오토콜리메이터 장치, 렌즈미터 장치 등이 있을 수 있으며, 고체 렌즈 또는 액체 렌즈 중 적어도 하나를 포함할 수 있는 광학 기기에 본 실시 예를 적용할 수 있다. 또한, 광학 기기는 스마트폰, 노트북 컴퓨터, 태블릿 컴퓨터 등의 휴대용 장치로 구현될 수 있다. 이러한 광학 기기는 카메라 모듈, 영상을 출력하는 디스플레이부, 카메라 모듈과 디스플레이부를 실장하는 본체 하우징을 포함할 수 있다. 광학기기는 본체 하우징에 타 기기와 통신할 수 있는 통신모듈이 실장될 수 있고 데이터를 저장할 수 있는 메모리부를 더 포함할 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100, 100A, 100B: 영상 획득부 110, 110-1 ~ 110-H: 광학부
120, 120-1 ~ 120H: 이미지 센서 130: 제어부
200: 영상 생성부 300: 깊이 정보 추출부

Claims (11)

  1. 공간 위상차를 갖는 복수의 이미지 프레임을 획득하는 영상 획득부;
    상기 복수의 이미지 프레임 각각의 해상도보다 높은 해상도를 갖는 영상 데이터를 상기 복수의 이미지 프레임을 이용하여 생성하는 영상 생성부; 및
    상기 영상 데이터를 이용하여 피사체에 대한 깊이 정보를 추출하는 깊이 정보 추출부를 포함하고,
    상기 영상 획득부는
    피사체에 대한 광이 진행하는 경로를 변환하는 광학부;
    서로 다른 경로를 통해 입사된 광을 센싱하는 이미지 센서; 및
    상기 광학부와 상기 이미지 센서를 제어하는 제어부를 포함하고,
    상기 복수의 이미지 프레임은 상기 이미지 센서에서 순차적으로 센싱된 결과에 해당하고,
    상기 영상 생성부는
    아래와 같은 세기를 갖는 상기 영상 데이터를 생성하는 카메라 모듈.
    Figure 112022059629379-pat00034

    (여기서, xØ는 상기 영상 데이터의 세기를 나타내고, 1 ≤ k ≤ p이고, p는 상기 영상 데이터를 생성하기 위해 사용된 상기 이미지 프레임의 개수를 나타내고, Ø는 위상 지연 정도를 나타내고, D-1은 D의 역행렬을 나타내고, D는 상기 이미지 센서의 픽셀의 행렬을 나타내고, BK -1은 BK의 역행렬을 나타내고, BK는 상기 깊이 정보에 대한 광학 특성을 나타내는 행렬이고, nK는 상기 복수의 이미지 프레임이 갖는 잡음 성분을 나타내고, AK는 p개의 상기 이미지 프레임 중 k번째 이미지 프레임의 세기를 나타내며 아래와 같다.
    Figure 112022059629379-pat00035
    )
  2. 삭제
  3. 제1 항에 있어서, 상기 영상 획득부는
    피사체에 대한 광이 진행하는 경로를 서로 달리 갖는 복수의 광학부; 및
    상기 복수의 광학부를 통해 입사된 광을 센싱하는 복수의 이미지 센서를 포함하고,
    상기 복수의 이미지 프레임은 상기 복수의 이미지 센서에서 센싱된 결과에 해당하는 카메라 모듈.
  4. 삭제
  5. 제1 항에 있어서, 상기 깊이 정보 추출부는 아래와 같이 상기 깊이 정보를 산출하는 카메라 모듈.
    Figure 112022059629379-pat00017

    (여기서, x는 깊이 정보를 나타내고, c는 광속을 나타내고, f는 주파수를 나타낸다.)
  6. (a) 공간 위상차를 갖는 복수의 이미지 프레임을 획득하는 단계;
    (b) 상기 복수의 이미지 프레임 각각의 해상도보다 높은 해상도를 갖는 영상 데이터를 상기 복수의 이미지 프레임을 이용하여 생성하는 단계; 및
    (c) 상기 영상 데이터를 이용하여 피사체에 대한 깊이 정보를 추출하는 단계를 포함하고,
    상기 (a) 단계는
    피사체에 대한 광이 진행하는 경로를 변환하는 단계; 및
    서로 다른 경로를 통해 입사된 광을 순차적으로 센싱하여 상기 복수의 이미지 프레임을 획득하는 단계를 포함하고,
    상기 (b) 단계는
    아래와 같은 세기를 갖는 상기 영상 데이터를 구하는 카메라 모듈의 초해상도 영상 처리 방법.
    Figure 112022059629379-pat00036

    (여기서, xØ는 상기 영상 데이터의 세기를 나타내고, 1 ≤ k ≤ p이고, p는 상기 영상 데이터를 생성하기 위해 사용된 상기 이미지 프레임의 개수를 나타내고, Ø는 위상 지연 정도를 나타내고, D-1은 D의 역행렬을 나타내고, D는 상기 이미지 센서의 픽셀의 행렬을 나타내고, BK -1은 BK의 역행렬을 나타내고, BK는 상기 깊이 정보에 대한 광학 특성을 나타내는 행렬이고, nK는 상기 복수의 이미지 프레임이 갖는 잡음 성분을 나타내고, AK는 p개의 상기 이미지 프레임 중 k번째 이미지 프레임의 세기를 나타내며 아래와 같다.
    Figure 112022059629379-pat00037
    )
  7. 삭제
  8. 제6 항에 있어서, 상기 (a) 단계는
    피사체에 대한 광을 서로 다른 경로에서 동시에 센싱하여 상기 복수의 이미지 프레임을 획득하는 단계를 포함하는 카메라 모듈의 초해상도 영상 처리 방법.
  9. 삭제
  10. 제6 항에 있어서, 상기 (c) 단계는 아래와 같이 상기 깊이 정보를 구하는 카메라 모듈의 초해상도 영상 처리 방법.
    Figure 112022059629379-pat00020

    (여기서, x는 깊이 정보를 나타내고, c는 광속을 나타내고, f는 주파수를 나타낸다.)
  11. 제6 항에 있어서, 상기 깊이 정보를 칼리브레이션하는 단계를 더 포함하는 카메라 모듈의 초해상도 영상 처리 방법.
KR1020180022121A 2018-02-23 2018-02-23 카메라 모듈 및 그의 초해상도 영상 처리 방법 KR102486425B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020180022121A KR102486425B1 (ko) 2018-02-23 2018-02-23 카메라 모듈 및 그의 초해상도 영상 처리 방법
EP19757781.0A EP3758354A4 (en) 2018-02-23 2019-02-21 CAMERA MODULE AND ITS SUPER-RESOLUTION IMAGE PROCESSING PROCESS
CN201980028015.XA CN112020853B (zh) 2018-02-23 2019-02-21 摄像机模块及其超分辨率图像处理方法
US16/971,907 US11425303B2 (en) 2018-02-23 2019-02-21 Camera module and super resolution image processing method thereof
JP2020544416A JP7312185B2 (ja) 2018-02-23 2019-02-21 カメラモジュール及びその超解像度映像処理方法
CN202211273403.4A CN115695997A (zh) 2018-02-23 2019-02-21 摄像机模块及其超分辨率图像处理方法和光学设备
PCT/KR2019/002163 WO2019164312A1 (ko) 2018-02-23 2019-02-21 카메라 모듈 및 그의 초해상도 영상 처리 방법
US17/811,248 US20220345626A1 (en) 2018-02-23 2022-07-07 Camera module and super resolution image processing method thereof
US17/821,350 US11770626B2 (en) 2018-02-23 2022-08-22 Camera module and super resolution image processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180022121A KR102486425B1 (ko) 2018-02-23 2018-02-23 카메라 모듈 및 그의 초해상도 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20190101759A KR20190101759A (ko) 2019-09-02
KR102486425B1 true KR102486425B1 (ko) 2023-01-09

Family

ID=67687130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180022121A KR102486425B1 (ko) 2018-02-23 2018-02-23 카메라 모듈 및 그의 초해상도 영상 처리 방법

Country Status (6)

Country Link
US (3) US11425303B2 (ko)
EP (1) EP3758354A4 (ko)
JP (1) JP7312185B2 (ko)
KR (1) KR102486425B1 (ko)
CN (2) CN115695997A (ko)
WO (1) WO2019164312A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112616009B (zh) * 2020-12-31 2022-08-02 维沃移动通信有限公司 电子设备及其摄像模组
US11849220B2 (en) * 2021-04-14 2023-12-19 Microsoft Technology Licensing, Llc Systems and methods for generating depth information from low-resolution images
US11831931B2 (en) 2021-04-14 2023-11-28 Microsoft Technology Licensing, Llc Systems and methods for generating high-resolution video or animated surface meshes from low-resolution images
CN114324395B (zh) * 2021-12-30 2024-01-19 广州市斯睿特智能科技有限公司 一种跟随式3d涂胶视觉检测装置及检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267617A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
WO2017149092A2 (en) * 2016-03-02 2017-09-08 Optotune Ag Optical device, particularly camera, particularly comprising autofocus, image stabilization and super resolution

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070222865A1 (en) * 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US10785463B2 (en) 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging
US20150022643A1 (en) * 2013-07-19 2015-01-22 Google Inc. Asymmetric Sensor Array for Capturing Images
US9025067B2 (en) 2013-10-09 2015-05-05 General Electric Company Apparatus and method for image super-resolution using integral shifting optics
KR20150077646A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 이미지 처리 장치 및 방법
WO2015136323A1 (en) * 2014-03-11 2015-09-17 Sony Corporation Exposure control using depth information
KR102269599B1 (ko) * 2014-04-23 2021-06-25 삼성전자주식회사 직경이 상이한 렌즈 소자들을 구비하는 촬상 장치
KR102206866B1 (ko) * 2014-05-02 2021-01-25 삼성전자주식회사 전자 장치 및 전자 장치에서 촬영 방법
EP2977915A1 (en) * 2014-07-24 2016-01-27 Thomson Licensing Method and apparatus for delocalized management of video data
EP3001672A1 (en) * 2014-09-25 2016-03-30 Thomson Licensing Plenoptic camera comprising a spatial light modulator
JP5893712B1 (ja) * 2014-11-04 2016-03-23 オリンパス株式会社 撮像装置、撮像方法、処理プログラム
KR102297488B1 (ko) * 2015-02-17 2021-09-02 삼성전자주식회사 라이트 필드 카메라
KR102341811B1 (ko) * 2015-02-26 2021-12-21 엘지이노텍 주식회사 하나의 카메라 모듈을 이용한 초해상도 카메라 장치
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
WO2017006546A1 (ja) 2015-07-03 2017-01-12 パナソニックＩｐマネジメント株式会社 距離測定装置および距離画像合成方法
CN105578071B (zh) * 2015-12-18 2018-03-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
US10609355B2 (en) * 2017-10-27 2020-03-31 Motorola Mobility Llc Dynamically adjusting sampling of a real-time depth map
KR102473650B1 (ko) * 2018-04-13 2022-12-02 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267617A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
WO2017149092A2 (en) * 2016-03-02 2017-09-08 Optotune Ag Optical device, particularly camera, particularly comprising autofocus, image stabilization and super resolution

Also Published As

Publication number Publication date
US11770626B2 (en) 2023-09-26
JP2021515455A (ja) 2021-06-17
CN112020853B (zh) 2022-11-08
CN112020853A (zh) 2020-12-01
KR20190101759A (ko) 2019-09-02
US11425303B2 (en) 2022-08-23
US20220345626A1 (en) 2022-10-27
CN115695997A (zh) 2023-02-03
US20210092291A1 (en) 2021-03-25
EP3758354A1 (en) 2020-12-30
EP3758354A4 (en) 2021-04-14
WO2019164312A1 (ko) 2019-08-29
JP7312185B2 (ja) 2023-07-20
US20220408018A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
KR102486425B1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
US11889203B2 (en) Camera module
CN101911671B (zh) 摄像装置和光轴控制方法
CN106921820B (zh) 图像传感器和相机模块
JP4616559B2 (ja) 表示装置及び表示システム
CN105627933B (zh) 测距模组、三维扫描***以及测距方法
KR20190032818A (ko) 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
US11782232B2 (en) Camera module
JP2958458B1 (ja) 多眼画像センサ
US9699381B2 (en) Digital photographing motion compensation system and method
US20230017668A1 (en) Mobile communication terminal
CN205262297U (zh) 一种红外及微光两相融合的夜视瞄准器
KR20180023644A (ko) 이미지 센서 및 이를 포함하는 카메라 모듈
KR20200049152A (ko) 카메라 장치
US11627301B2 (en) Image sensor and camera module using same
KR102606835B1 (ko) 뎁스 맵을 생성하는 전자 장치 및 방법
US11469265B2 (en) Imaging apparatus and image sensor including the same
CN103531596A (zh) 一种基于单眼套叠的全色复眼成像探测芯片
CN203503659U (zh) 一种基于单眼套叠的全色复眼成像探测芯片
KR20230001760A (ko) 이미지 안정화 방법 및 이를 위한 전자 장치
KR20140140495A (ko) 능동형 배열 렌즈를 이용한 공간정보 획득장치 및 방법
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器
KR101772957B1 (ko) 파노라마 촬영장치, 파노라마 영상 생성방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
CN117652153A (zh) 电子装置及其控制方法
CN114035335A (zh) 显示装置及其控制方法、显示***

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant