KR20230061134A

KR20230061134A - 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치

Info

Publication number: KR20230061134A
Application number: KR1020210146059A
Authority: KR
Inventors: 김정우; 민병일
Original assignee: 삼성전자주식회사
Priority date: 2021-10-28
Filing date: 2021-10-28
Publication date: 2023-05-08
Also published as: US11997401B2; US20230134771A1

Abstract

실시예에 따른 포톤 카운팅을 이용한 이미지 센서는 하나의 픽셀에 배치된 복수의 서브 픽셀, 각각의 서브 픽셀에 접속되고, 각각의 서브 픽셀에 입사된 포톤에 따라 생성된 복수의 펄스 신호를 카운팅하여 출력하는 복수의 카운터 및 각각의 카운터로부터 출력된 출력 값들에 대해 소정의 연산을 수행하는 연산기를 포함한다.

Description

이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치{Image sensor, image acquisition apparatus and electronic apparatus including the same}

개시된 실시 예들은 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치에 대한 것이다.

이미지 센서는 피사체로부터 입사되는 빛을 수광하고, 수광된 빛을 광전 변환하여 전기적 신호를 생성하는 장치이다.

이미지 센서는 컬러 표현을 위해, 통상, 적색광, 녹색광, 청색광을 선택적으로 투과시키는 필터 요소들의 어레이로 이루어진 컬러 필터를 사용하며, 각 필터 요소를 투과한 빛의 양을 센싱한 후, 영상 처리를 통해 피사체에 대한 컬러 영상을 형성한다.

이미지 센서는 해상도(Resolution), 속도(Frame Rate), 저조도 이미징(Low light imaging), 그리고 높은 다이내믹레인지(High Dynamic Range, 이하 HDR 이라 한다)등의 특성이 단계적으로 향상되고 있다. HDR와 속도를 동시에 향상하기 위하여 새로운 이미징 방식이 제안(Photon Counting Imaging)된 바 있고, 최근 포토카운팅이미징(Photon Counting Imaging)기술을 적용한 이미지센서가 공지되어 있다.

포토카운팅이미징은 픽셀에 입사하는 광자(Photon)를 빠른 포토다이오드, 예를 들면 단광자 애벌란시 다이오드(Single-Photon　Avalanche　Diode,　이하 SPAD라 한다)를 이용하여 시간축에서 일정 시간동한 입사하는 광자의 갯수를 카운팅하여, 픽셀별로 광량을 측정하여, 2차원 영상을 구현한다.

실시 예들은 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치에 대한 것이다.

실시 예에 따른 포톤 카운팅을 이용한 이미지 센서는 하나의 픽셀에 배치된 복수의 서브 픽셀; 각각의 서브 픽셀에 접속되고, 상기 각각의 서브 픽셀에 입사된 포톤에 따라 생성된 복수의 펄스 신호를 카운팅하여 출력하는 복수의 카운터; 및 각각의 카운터로부터 출력된 출력 값들에 대해 소정의 연산을 수행하는 연산기를 포함한다.

다른 실시 예에 따른 영상 획득 장치는 하나의 픽셀에 복수의 서브 픽셀이 배치된, 픽셀 어레이; 각각의 서브 픽셀에 접속되고, 상기 각각의 서브 픽셀에 입사된 포톤에 따라 생성된 복수의 펄스 신호를 카운팅하여 출력하는 복수의 카운터; 각각의 카운터로부터 출력된 출력 값들에 대해 소정의 연산을 수행하는 연산기; 및 각각의 픽셀의 연산기로부터 출력된 연산값들을 처리하는 제어부를 포함한다.

또 다른 실시 예에 따른 상기 영상 획득 장치를 포함하는 전자 장치를 제공한다.

실시 예에 따른 이미지 센서는 포토카운팅 기술을 이용하여, 이미지센서에서 읽어들인 픽셀값을 픽셀 외부의 이미지처리회로(ISP)에 전달하지 않고, 화소내(In-Pixel)에서 픽셀값들에 대한 연산을 직접 수행할 수 있다.

또한, 픽셀값들을 연산해야 하는 처리 동작, 예를 들면 2PD 오토포커스를 위한 픽셀값 연산을 픽셀 내에서 수행함으로써, AF 속도 향상과 영상획득장치의 소비전력을 감소시킬 수 있다.

또한, 복수 개의 서브 픽셀을 포함하여, 개별 서브 픽셀을 선택적으로 구동하여 픽셀값을 획득함으로써, 동일한 사이즈의 리드아웃회로를 이용하고도 서브 픽셀의 개수만큼 큰 해상도를 갖는 영상을 얻을 수 있다.

도 1은 일 실시 예에 따른 영상 획득 장치의 개략적인 블록도이다.
도 2는 도 1에 도시된 이미지 센서(210)의 상세 블록도이다.
도 3은 도 2에 도시된 이미지 센서(210)의 회로도이다.
도 4는 다른 실시 예에 따른 복수의 서브 픽셀을 포함한 이미지 센서(210)의 상세 블록도이다.
도 5는 또 다른 실시 예에 따른 복수의 서브 픽셀을 포함한 픽셀 어레이의 회로도이다.
도 6은 또 다른 실시 예에 따른 영상 획득 장치의 개략적인 블록도이다.
도 7은 또 다른 실시 예에 따른 영상 획득 장치의 개략적인 블록도이다.
도 8 및 9는 또 다른 실시 예에 따른 위상차 AF를 설명하기 위한 도면들이다.
도 10은 또 다른 실시 예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다.
도 11은 도 10의 전자 장치에 구비되는 카메라 모듈을 개략적으로 도시한 블록도이다.
도 12 내지 도 21은 실시 예에 따른 영상 획득 장치가 적용된 전자장치의 다양한 예시 도들이다.

이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하기로 한다. 설명되는 실시 예는 단지 예시적인 것에 불과하며, 이러한 실시 예들로부터 다양한 변형이 가능하다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.

이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 이러한 용어들은 구성 요소들의 물질 또는 구조가 다름을 한정하는 것이 아니다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 “...부”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

“상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.

방법을 구성하는 단계들은 설명된 순서대로 행하여야 한다는 명백한 언급이 없다면, 적당한 순서로 행해질 수 있다. 또한, 모든 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구항에 의해 한정되지 않는 이상 이러한 용어로 인해 권리 범위가 한정되는 것은 아니다.

실시 예에서, SPAD는　소자의　매우　높은　이득(Gain)특성으로　단광자(Single　Photon)를　검출할　정도로　효율이　극도로　높은　차세대　반도체　광　소자를 의미한다.　SPAD는　소자의　항복　전압(Breakdown　Voltage)보다　높은　전압을　걸어주었을　때,　매우　큰　전기장(Electric　Field)에　따라　자유전자(Carrier)가　가속돼　원자와　강한　충돌을　일으키고,　이에　따라　원자에　구속돼　있는　전자가　방출돼　자유전자의　수가　급속도로　증가하는　충격　이온화(Impact　Ionization)　현상이　일어난다.　이것을　애벌란시 증폭(Avalanche　Multiplication)이라　하며,　이　효과로　인해　외부에서　이미지　센서로　조사된　광자(Photon)로　인해　생성되는　자유전자의　수가　매우　크게　증가한다.　즉,　주변　환경이　매우　어둡거나　아주　멀리서　빛이　조사돼,　이미지　센서에　아주　미세한　수준의　광자만　들어왔다고　하더라도　이　광자를　증폭해　아주　많은 광자가　들어온　것처럼　인식할　수　있다.

포토카운팅 또는 광자계수를 이용한 이미징은 화소(Pixel)에 입사하는 광자(Photon)를 SPAD를 이용하여 시간축에서 일정 시간동안 입사하는 포톤의 갯수를 카운팅하여, 화소별 광량을 측정하여 2차원 영상을 구현하는 것이다.

종래의 이미지 센서는 입사하는 포톤을 일정 시간동안 FD(Floating Diffusion)에 축적하여 발생된 전압 변화를 외부의 리드아웃회로 전송하여 2차원 영상을 구현한다. 반면, 포톤카운팅을 이용환 이미지센서는 화소 단위에서 디지털 정보로 변환할 수 있다.

포톤카운팅 이미징을 위한 픽셀은 고속 포토다이오드, 펄스 생성기, 및 카운터 회로를 포함한다. 개별 픽셀은 독립적으로 동작하고, 포톤이 입사하면 고속 포토다이오드에서 전류의 흐름이 발생하고 펄스 생성기에서 디지털 펄스가 출력된다. 이 펄스는 후단의 카운터를 이용하여 연속적으로 갯수를 누적한다. 따라서 주어진 시간내 펄스의 출력을 카운팅하면 입사하는 포톤 양에 비례하는 디지털 값을 얻게되어 2차원 영상을 구현할 수 있다. 포톤카운팅 이미징은 기존 이미지 센서 대비 고속 촬영과 HDR을 구현할 수 있고, 120dB 이상의 다이내믹 레인지를 구현할 수 있다.

실시 예에서, 포톤 카운팅을 이용한 이미지 센서는 하나의 픽셀에 복수의 서브 픽셀을 배치하고, 각각의 서브 픽셀에 입사된 포톤에 따라 생성된 복수의 펄스 신호를 카운팅하여 출력하고, 출력된 출력 값들에 대해 소정의 연산을 수행한다. 따라서, 이미지센서에서 읽어들인 픽셀값을 픽셀 외부의 이미지처리회로(ISP)에 전달하지 않고, 화소내(In-Pixel)에서 픽셀값들에 대한 연산을 직접 수행할 수 있다.

실시 예에서, 용어 "픽셀" 또는 "화소"는 빛을 수광하는 포토다이오드만을 지칭하거나, 또는 픽셀 안에 구현되어 있는 구성요소들 또는 직접회로들을 지칭하는 의미로 사용된다. 예를 들면, 하나의 픽셀을 구현하는 포토다이오드, 펄스 생성기, 카운터를 함께 지칭하는 것으로 사용될 수 있다.

실시 예에서, 용어 "이미지 센서"는 빛을 감지하여 전기신호로 변환하는 광전변환소자를 지칭하는 것으로 사용된다. 따라서, 픽셀 또는 픽셀 어레이, 또는 픽셀과 픽셀회로를 함께 지칭하는 것으로 사용된다.

도 1은 일 실시 예에 따른 영상 획득 장치의 개략적인 블록도이다.

도 1을 참조하면, 영상획득장치(100)는 픽셀 어레이(200)와 제어부(300)를 포함한다.

픽셀 어레이(200)에는 다수의 픽셀(210)들이 소정 갯수, 예를 들면 M×N개가 배열된다. 각각의 픽셀들은 독립적으로 구동될 수 있다. 도 1에 도시되지는 않았지만, 픽셀 어레이(200)의 주변회로들, 수직주사회로, 수평주사회로, 판독회로, 출력회로, 제어회로를 포함할 수 있다. 다수의 픽셀(210)과 주변회로들은 각각 서로 다른 레이어에 배치될 수 있다. 예를 들면 다수의 픽셀(210)이 배치된 레이어는 리드아웃회로의 칩 레이어 상에 적층될 수 있다. 실시 예에서, 픽셀(210)은 SPAD이고, 단일 광자를 카운팅하므로 잡음이 적고, 높은 다이내믹 레인지를 가질 수 있다.

실시 예에서, 픽셀 어레이(200)의 다수의 픽셀(210) 각각에는 복수 개의 서브픽셀들이 배치된다. 복수 개의 서브 픽셀은 포토다이오드는 가이거모드(Geiger Mode)로 동작하는 APD(Avalanche PhotoDiode, 이하 APD라 한다) 또는 SPAD일 수 있다. 여기서, 하나의 픽셀(210)에는 적어도 2개 이상의 서브 픽셀들이 배치될 수 있다. 각각의 서브 픽셀은 동일한 사이즈 또는 서로 다른 사이즈일 수 있다. 또한, 2개의 서브 픽셀로 구현하여, 하나의 서브 픽셀은 저조도용으로, 다른 하나의 서브 픽셀은 고조도용으로 사용할 수도 있다. 따라서, SPAD의 장점인 저조도에서도 광센싱 효율을 높일 수 있고, 고조도에서 SPAD에서 흡수한 광자를 카운팅하는 카운터가 오버플로우되는 것을 방지할 수도 있다.

각각의 픽셀(210)은 포토다이오드, 펄스 생성기, 카운터, 연산기를 포함한다. 실시 예에서, 펄스 생성기는 포토다이오드에 입사된 포톤에 따라 생성된 전기 신호를 기초로 펄스 신호를 생성한다. 카운터는 일정 시간에 펄스 생성기에서 출력된 펄스 신호의 갯수를 카운팅하여 출력한다. 연산기는 각각의 서브 픽셀의 광자를 카운팅한 카운팅 값을 연산하여 출력한다. 여기서, 연산은 덧셈, 뺄셈, 곱셈 및 나눗셈 중 어느 하나일 수 있으며, 미리 설정될 수 있다.

픽셀(210) 또는 서브 픽셀의 구조와 상세 동작은 도 2 및 3을 참조하여 후술한다.

제어부(300)는 픽셀 어레이(200)로부터 출력된 복수의 서브 픽셀들에 대한 연산값들을 처리한다. 예를 들면, 복수의 서브 픽셀들에 대한 뺄셈 연산이 수행된 경우, 제어부(300)는 뺄셈 연산을 이용하여 위상차 AF를 수행할 수 있다. 또한, 제어부(300)는 복수의 서브 픽셀들에 대한 출력값을 이용하여 영상 신호를 생성할 수도 있다. 이 경우, 동일한 사이즈의 리드아웃회로를 이용하고서도, 서브 픽셀의 개수만큼 큰 해상도를 갖는 영상을 얻을 수 있다. 여기서, 출력값은 각각의 픽셀 또는 서브 픽셀들의 카운터의 카운팅 값과 펄스 신호의 주기를 포함한다. 실시 예에서는, 각각의 서브 픽셀의 카운터의 카운팅값을 연산한 후 연산 결과값을 제어부(300)에 전달할 수 있다. 또한, 각각의 서브 픽셀들의 카운터의 카운팅 값들을 연산하지 않고, 제어부(300)에 제공할 수도 있다.

도 2는 도 1에 도시된 이미지 센서(210)의 상세 블록 도이다.

도 2를 참조하면, 이미지 센서(210) 또는 하나의 픽셀(210)은 2개의 서브 픽셀(211,214), 각각의 서브 픽셀에 접속된 2개의 카운터(213, 215), 각각의 카운터(213, 215)의 카운팅 값에 대해 소정의 연산을 수행하는 연산기(216)를 포함한다. 도 2에 도시되지는 않았지만, 서브 픽셀(211, 214)에는 각각의 서브 픽셀에서 흡수한 포톤에 따라 펄스를 생성하는 펄스 생성기를 포함되어 있다.

이미지 센서(210)는 픽셀에 입사된 포톤에 의해 유도된 트리거 펄스를 이용하여, 일정시간, 즉 노출 기간 동안 입사된 포톤의 갯수를 카운팅함으로써 광량을 센싱할 수 있다.

서브 픽셀(211, 214)은 포토다이오드를 포함한다. 포토다이오드는 가이거모드(Geiger Mode)로 동작하는 APD 또는 SPAD일 수 있다. 가이거모드는 APD에서 단일광자를 검출하기 위해서 역전압을 항복전압보다 크게 인가하는 것을 의미한다. 가이거모드에서는 증폭층에 인가하는 전기장의 세기가 크기 때문에 소량의 광자를 흡수하더라도 애벌란시 전류의 항복현상이 발생하게 되어 큰 전류 펄스가 출력되므로 단일광자의 검출이 가능하다. 펄스 생성기는 서브 픽셀(211,214)에 입사된 포톤에 따라 생성된 전기 신호를 기초로 펄스 신호를 생성한다. 펄스 생성기는 광자의 수광빈도에 따른 빈도로 펄스를 발생시킨다.

카운터(213,215)는 펄스 신호의 갯수를 카운팅하여 출력한다. 카운터(213,215)에서 출력된 카운팅 값 또는 카운팅 결과값은 픽셀값이 된다. 여기서, 카운팅 값은 프레임 주기 내에 입력된 광자의 갯수의 총합이다. 카운터(213,215)는 카운팅 값을 일시적으로 저장하였다가 외부 제어 신호에 따라 카운팅 값을 출력한다.

연산기(216)는 각각의 카운터(213, 215)에서 출력된 카운팅 값들에 대해 소정의 연산을 수행한다. 여기서, 연산은 덧셈, 뺄셈, 곱셈 및 나눗셈 중 어느 하나일 수 있으며, 이미지 센서에서 미리 설정될 수 있다. 실시 예에서, 각각의 카운터(213, 215)에서 출력되는 카운팅 값들은 광자의 갯수에 대한 수치적인 디지털 값들이다. 연산기(216)는 디지털 값들에 대해 수학적인 연산(arithmetic operation)을 수행한다. 연산기(216)는 산술 논리 장치(arithmetic logic unit, 이하 ALU라 한다)일 수 있다. ALU는 덧셈, 뺄셈 같은 두 숫자의 산술연산과 배타적 논리합, 논리곱, 논리합 같은 논리연산을 계산할 수도 있도록 설계될 수 있다. ALU는 덧셈, 뺄셈, 곱셈, 나눗셈을 포함한 정수형 산출 연산을 수행할 수 있다. 또한, ALU는 비트 논리 연산, 비트 시프트 연산을 수행할 수도 있다.

도 3은 도 2에 도시된 서브 픽셀(211)의 회로도이다.

도 3을 함께 참조하면, 서브 픽셀(211)은 포토다이오드이다. 또한, 픽셀(211)은 SPAD일 수 있다. 포토다이오드(211)의 캐소드 전극은 동작전압(Vop)에 접속되고, 애노드 전극은 NMOS트랜지스터와 펄스 생성기(212)의 입력측과 접속된다. NMOS 트랜지스터의 게이트 전극은 바이어스전압(Vbias)과 접속된다.

펄스 생성기(212)는 인버터회로일 수 있다. 펄스 생성기(212)의 출력은 카운터(213)에 접속된다.

카운터(213)는 n 비트, 예를 들면 8 내지 12비트일 수 있다. 카운터의 크기는 이에 한정되지 않고, 픽셀 사이즈 또는 이미지 센서의 응용에 따라 다양한 크기의 카운터를 사용할 수 있음은 물론이다. 카운터(213)는 동기식 또는 비동기식 카운터일 수 있고, 비동기식 리플 카운터일 수도 있다. 카운터(213)는 D-플립플롭 회로일 수 있다.

도 3을 참조하면, SPAD(211)의 캐소드 전극에 동작전압(Vop)으로 항복전압보다 큰 역바이어스 전압이 인가되면, 단일 포톤의 입사에 의해 생성되는 캐리어가 애벌란시 증폭을 일으켜 큰 전류가 SPAD(211)를 통해 펄스 생성기(212)의 입력측에 인가된다.

펄스 생성기(212)는 입력측에 인가된 전기신호를 펄스 신호로서 생성한다. 여기서, 펄스 생성기(212)는 인버터회로일 수 있다.

NMOS트랜지스터의 게이트 전극에 바이어스 전압을 인가하여, NMOS트랜지스터를 온오프 제어하고, SPAD(211)에서 발생한 전류가 펄스 생성기(212)에 전달되는 것을 제어한다. 여기서 NMOS 트랜지스터로 도시되어 있지만, 이에 한정되지 않고, 다양한 바이어스 전압 인가 회로를 적용할 수 있음은 물론이다.

도 3에 도시되지는 않았지만, SAPD(211)에서 발생된 애벌란시 증폭에 의해 과잉전류를 제한하기 위한 퀀칭회로(Quenching Circuit)를 더 포함할 수 있다. SPAD에 인가되는 역전압이 클수록 열적 전자가 여기상태에 있을 확률과 터널링 확률이 증가하게 되어 광자의 흡수 없이도 애벌란시 전류가 발생하는 암전류(Dark current)가 증가하게 된다. 애벌란시 전류의 발생 시 과잉전류(excess current)가 흐를 수 있다. 따라서, 퀀칭회로를 통해 애벌란시 전류의 지속적인 흐름을 억제할 수 있다.

도 4는 다른 실시 예에 따른 복수의 서브 픽셀을 포함한 이미지 센서(210)의상세 블록도이다.

도 4를 참조하면, 하나의 화소에 복수개의 서브 픽셀로 구성되고, 개별 서브 픽셀은 포토카운팅에 의하여 광량 대응하는 정보를 디지털값으로 변환하는 기능과, 그 결과값들을 연산하여 출력하는 픽셀구조가 도시되어 있다.

하나의 픽셀에는 2개의 서브 픽셀(211, 214)가 배치되고, 각각의 서브 픽셀과 각각의 카운터(213, 215)가 접속된다. 따라서, 서브 픽셀(211)에 흡수된 광자에 의해 발생된 펄스 신호는 카운터(213)에서 카운팅되고, 서브 픽셀(214)에 흡수된 광자에 의해 발생된 펄스 신호는 카운터(215)에서 카운팅된다. 각각의 카운터(213, 215)에서 카운팅된 카운팅 값(각각의 서브 픽셀값)은 연산기(216)에 입력된다.

연산기(216)는 소정의 산술 연산을 수행하여 픽셀 외부로 출력한다. 여기서, 연산은 덧셈, 뺄셈, 곱셈 및 나눗셈 중 어느 하나이거나, 이들의 조합 연산일 수 있다.

실시 예에서, 픽셀 내에서의 연산의 종류는 미리 설정될 수 있으며, 이미지 센서의 응용에 따라 연산의 종류가 달라질 수 있다. 예를 들면, 2PDAF(2 Photo Diode Auto Focus 이하 2PDAF라 한다) 또는 PDAF(Phase Difference Auto Focus)에 활용하는 경우, 연산은 각각의 서브 픽셀의 픽셀값들의 차이(위상차)로부터 AF을 수행하는 것이므로, 연산은 뺄셈이 수행된다. PDAF의 기능을 수행하는 경우 서브 픽셀은 2개로 구성이 되고, 연산은 뺄셈을 수행하게 된다. 따라서, 외부의 ISP(Image Signal Processor, 이하 IPS라 한다)지원 없이, 픽셀 내(In-Pixel)에서 연산이 가능하기 때문에 빠른 결과를 이용하여 기존대비 향상된 오토포커싱 기능이 가능하다.

도 5는 또 다른 실시 예에 따른 복수의 서브 픽셀을 포함한 픽셀 어레이의 회로도이다.

도 5를 참조하면, 2개의 서브 픽셀로 이루어진 9개 픽셀을 이용하여 PDAF를 수행하기 위한 회로 설계가 도시되어 있다. 여기서 회로 설계는 예시적인 것으로 이에 한정되지 않음은 물론이다.

PDAF를 이용한 AF는 2개의 서브 픽셀로 구성된 하나의 픽셀에서 2개의 개별 서브 픽셀에 입사하는 광량의 차이를 이용한다. 이 정보를 이용하여 렌즈의 위치를 최적화하여 초점을 2D 어레이면에 형성하여 명확한 영상정보를 확보할 수 있다. 이러한 기능을 수행하기 위하여 제안된 방식의 구조를 갖는 경우는 다음과 같다.

먼저, 개별 화소가 연산 기능이 가능하기 때문에 어떤 연산을 수행할지 설정한다. 설정이 완료되면 일반적인 이미지센서의 노출 및 리드아웃 기능을 동일하게 수행한다. 여기서, 영상 정보는 “A-B”계산이 완료된 값을 출력하기 때문에 부가적인 ISP 처리 없이 카메라의 렌즈의 위치를 최적화하여 AF를 완료할 수 있다.

도 5를 참조하여, 2개의 서브 픽셀을 이용하여 PDAF를 수행하기 위해, 뺄셈 연산의 결과값을 출력하는 것을 설명하였지만, 이에 한정되지 않고, 다양한 연산의 결과값들을 출력할 수 있음은 물론이다.

다른 실시 예는 픽셀 내에 복수의 서브 픽셀이 배치된 구조이므로, 산술 연산을 수행할 수도 있지만, 서브 픽셀의 정보를 개별적으로 활용할 수도 있다. 예를 들면, 2개의 서브 픽셀로 이루어진 픽셀 구조의 경우, 픽셀 단위로 M×N 어레이를 구성할 수 있다. 여기서, 서브 픽셀을 개별적으로 사용할 경우, 2×M×N의 영상정보를 얻을 수 있다. 즉, 리드아웃회로는 M×N이지만, 이미지 센서로부터 출력된 영상의 정보량 또는 해상도는 2배의 해상도를 갖는 영상이다.

도 6은 또 다른 실시 예에 따른 영상 획득 장치의 개략적인 블록도이다.

도 6을 참조하면, 영상 획득 장치는 이미지 센서(600) 및 프로세서(610)를 포함한다.

이미지 센서(600)는 하나의 픽셀에 배치된 복수의 서브 픽셀과, 각각의 서브 픽셀에 접속되고, 각각의 서브 픽셀에 입사된 포톤에 따라 생성된 복수의 펄스 신호를 카운팅하여 출력하는 복수의 카운터와, 각각의 카운터로부터 출력된 출력 값들에 대해 소정의 연산을 수행하는 연산기를 포함한다.

프로세서(610)는 이미지 센서(600)의 연산기로부터 출력된 연산값들을 처리한다. 연산값들은 각각의 서브 픽셀의 픽셀값이므로, 미리 정해진 다양한 연산방식에 의해 원하는 연산값들을 직접얻을 수 있다. 따라서, 프로세서(610)에서 별도의 연산없이, 연산된 픽셀값을 활용할 수 있다.

실시 예에서, 프로세서(610)는 원하는 응용에 맞도록 이미지 센서(600)의 산술연산을 설정할 수도 있다.

실시 예에서, 프로세서(610)는 이미지 센서(600)의 복수의 서브 픽셀 중 어느 하나의 서브 픽셀의 픽셀값만을 출력하도록 제어할 수도 있다. 예를 들면, 복수의 서브 픽셀의 사이즈가 서로 상이하고, 어느 하나는 저조도용, 다른 하나는 고조도용인 경우, 저조도 상황이라고 판단한 경우, 저조도용 서브 픽셀의 픽셀값만이 출력되도록 제어할 수 있다.

실시 예에서, 프로세서(610)는 이미지 센서(600)의 복수의 서브 픽셀의 픽셀값들을 개별적으로 출력하도록 제어할 수 있다. 이 경우, 연산기의 동작은 오프되고, 각각의 서브 픽셀의 출력값이 출력될 수 있다. 이 경우, 이미지 센서(600)가 M×N 픽셀 어레이로 구현되고, 하나의 서브 픽셀에 K개인 경우, 획득된 영상은 K×M×N의 해상도를 가질 수 있다.

도 7은 또 다른 실시 예에 따른 영상 획득 장치의 개략적인 블록도이다.

도 7을 참조하면, 영상 획득 장치는 이미지 센서(600)와 프로세서(610)를 포함하고, 프로세서(610)는 영상 신호 처리부(611) 및 AF 수행부(612)를 포함한다.

영상 신호 처리부(611)는 이미지 센서(600)로부터 획득된 픽셀값을 기초로 영상 신호를 생성한다. 영상 신호 처리부(611)는 이미지 센서(600)로부터 영상을 취득한 후, 메모리에 저장되기 전 또는 저장된 후에, 기본적인 영상처리를 수행할 수 있다. 예를 들면, bad pixel correction, fixed pattern noise correction, crosstalk reduction, remosaicing, demosaicing, false color reduction, denoising, chromatic aberration correction 등을 수행할 수 있다.

AF 수행부(612)는 이미지 센서(600)로부터 획득된 각각의 서브 픽셀의 픽셀 차이값으로부터 렌즈의 위치를 이동시켜 초점을 맞출 수 있다. 실시 예에서는, 프로세서 내에서 픽셀 차이값을 연산하지 않아도, 이미지 센서(600)로부터 픽셀 차이값들을 직접 입력받아, AF를 수행함으로써, 빠른 AF를 구현할 수 있다.

도 8 및 9는 또 다른 실시 예에 따른 위상차 AF를 설명하기 위한 도면들이다. 도 8을 참조하면, 종래의 PDAF(Phase Difference Auto-Focus) 방식이 도시되어 있다. 카메라의 AF 방법은 크게 CDAF(Contrast Detection Autofocus), PDAF(Phase Detection Autofocus), 레이저 AF를 사용할 수 있다. 실시 예에서, Auto-Focus 방식은 PDAF로, 도 8에 도시된 바와 같이, 센서 내에 개별 화소가 2개로 구성된 센서 구조를 필요로 한다. 카메라는 대상체에 대하여 명확한 화질 확보를 위하여 포커스기능을 수행하는데, PDAF방식은 화소내 개별 정보를 외부 회로로 전송 받아서 ISP를 이용하여 계산을 하고 결과값을 이용하여 카메라의 렌즈위치를 최적화한다.

도 9를 참조하면, 2PD(2 Photo-Diode) AF 방식이 도시되어 있다. 카메라의 포커스를 고속으로 동작시키기 위하여 센서의 개별 화소를 이용하는 방법이다. 도 9에 도시된 바와 같이, 픽셀을 2개의 서브 픽셀로 구분하고 서브 픽셀에 입사하는 광량을 비교하여 AF를 수행한다.

도 8 및 9를 참조하여 설명한 방식의 문제점은 화소내 정보를 리드아웃하고, 아날로그정보를 디지털로 변환하고, 다시 ISP를 이용하여 계산하는 일련의 작업이 필요하여 프로세싱시간과 소비전력의 소요되는 문제점이 있다.

실시 예에 따른 포톤카운팅을 이용하여 픽셀내(In-Pixel)에서 디지털정보를 생성하고, 연산을 수행하므로, 기존의 외부 ISP의 도움없이도 PDAF를 수행할 수 있다. 따라서, AF 속도향상과 영상획득장치의 소비전력을 감소시킬 수 있다.

상술한 영상 획득 장치(1000)는 다양한 고성능 광학 장치 또는 고성능 전자 장치에 채용될 수 있다. 이러한 전자 장치는, 예컨대, 스마트폰(smart phone), 휴대폰, 핸드폰, PDA(personal digital assistant), 랩톱(laptop), PC, 다양한 휴대용 기기, 가전 제품, 보안 카메라, 의료용 카메라, 자동차, 사물인터넷(IoT;Internet of Things) 기기, 기타 모바일 또는 비모바일 컴퓨팅 장치 일 수 있고, 이에 제한되지 않는다.

전자 장치는 영상 획득 장치(1000)외에도, 이에 구비된 이미지 센서들을 제어하는 프로세서, 예를 들면, 어플리케이션 프로세서(AP: Application Processor)를 더 포함할 수 있으며, 프로세서를 통해 운영 체제 또는 응용 프로그램을 구동하여 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서는 GPU (Graphic Processing Unit) 및/또는 이미지 신호 프로세서(Image Signal Processor)를 더 포함할 수 있다. 프로세서에 이미지 신호 프로세서가 포함되는 경우, 이미지센서에 의해 획득된 이미지(또는 영상)를 프로세서를 이용하여 저장 및/또는 출력할 수 있다.

도 10은 실시예에 따른 전자 장치의 개략적인 구조를 보이는 블록도이다. 도 10을 참조하면, 네트워크 환경(ED00)에서 전자 장치(ED01)는 제1 네트워크(ED98)(근거리 무선 통신 네트워크 등)를 통하여 다른 전자 장치(ED02)와 통신하거나, 또는 제2 네트워크(ED99)(원거리 무선 통신 네트워크 등)를 통하여 또 다른 전자 장치(ED04) 및/또는 서버(ED08)와 통신할 수 있다. 전자 장치(ED01)는 서버(ED08)를 통하여 전자 장치(ED04)와 통신할 수 있다. 전자 장치(ED01)는 프로세서(ED20), 메모리(ED30), 입력 장치(ED50), 음향 출력 장치(ED55), 표시 장치(ED60), 오디오 모듈(ED70), 센서 모듈(ED76), 인터페이스(ED77), 햅틱 모듈(ED79), 카메라 모듈(ED80), 전력 관리 모듈(ED88), 배터리(ED89), 통신 모듈(ED90), 가입자 식별 모듈(ED96), 및/또는 안테나 모듈(ED97)을 포함할 수 있다. 전자 장치(ED01)에는, 이 구성요소들 중 일부(표시 장치(ED60) 등)가 생략되거나, 다른 구성요소가 추가될 수 있다. 이 구성요소들 중 일부는 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(ED76)(지문 센서, 홍채 센서, 조도 센서 등)은 표시 장치(ED60)(디스플레이 등)에 임베디드되어 구현될 수 있다. 또한, 이미지센서(1000)에 분광 기능이 포함될 경우, 센서 모듈의 일부 기능(컬러 센서, 조도 센서)이 별도의 센서 모듈이 아닌 이미지센서(1000) 자체에서 구현될 수 있다.

프로세서(ED20)는, 소프트웨어(프로그램(ED40) 등)를 실행하여 프로세서(ED20)에 연결된 전자 장치(ED01) 중 하나 또는 복수개의 다른 구성요소들(하드웨어, 소프트웨어 구성요소 등)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 데이터 처리 또는 연산의 일부로, 프로세서(ED20)는 다른 구성요소(센서 모듈(ED76), 통신 모듈(ED90) 등)로부터 수신된 명령 및/또는 데이터를 휘발성 메모리(ED32)에 로드하고, 휘발성 메모리(ED32)에 저장된 명령 및/또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(ED34)에 저장할 수 있다. 프로세서(ED20)는 메인 프로세서(ED21)(중앙 처리 장치, 어플리케이션 프로세서 등) 및 이와 독립적으로 또는 함께 운영 가능한 보조 프로세서(ED23)(그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서 등)를 포함할 수 있다. 보조 프로세서(ED23)는 메인 프로세서(ED21)보다 전력을 작게 사용하고, 특화된 기능을 수행할 수 있다.

보조 프로세서(ED23)는, 메인 프로세서(ED21)가 인액티브 상태(슬립 상태)에 있는 동안 메인 프로세서(ED21)를 대신하여, 또는 메인 프로세서(ED21)가 액티브 상태(어플리케이션 실행 상태)에 있는 동안 메인 프로세서(ED21)와 함께, 전자 장치(ED01)의 구성요소들 중 일부 구성요소(표시 장치(ED60), 센서 모듈(ED76), 통신 모듈(ED90) 등)와 관련된 기능 및/또는 상태를 제어할 수 있다. 보조 프로세서(ED23)(이미지 시그널 프로세서, 커뮤니케이션 프로세서 등)는 기능적으로 관련 있는 다른 구성 요소(카메라 모듈(ED80), 통신 모듈(ED90) 등)의 일부로서 구현될 수도 있다.

메모리(ED30)는, 전자 장치(ED01)의 구성요소(프로세서(ED20), 센서모듈(ED76) 등)가 필요로 하는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(프로그램(ED40) 등) 및, 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터를 포함할 수 있다. 메모리(ED30)는, 휘발성 메모리(ED32) 및/또는 비휘발성 메모리(ED34)를 포함할 수 있다. 비휘발성 메모리(ED32)는 전자 장치(ED01) 내에 고정 장착된 내장 메모리(ED36)과 탈착 가능한 외장 메모리(ED38)를 포함할 수 있다.

프로그램(ED40)은 메모리(ED30)에 소프트웨어로 저장될 수 있으며, 운영 체제(ED42), 미들 웨어(ED44) 및/또는 어플리케이션(ED46)을 포함할 수 있다.

입력 장치(ED50)는, 전자 장치(ED01)의 구성요소(프로세서(ED20) 등)에 사용될 명령 및/또는 데이터를 전자 장치(ED01)의 외부(사용자 등)로부터 수신할 수 있다. 입력 장치(ED50)는, 마이크, 마우스, 키보드, 및/또는 디지털 펜(스타일러스 펜 등)을 포함할 수 있다.

음향 출력 장치(ED55)는 음향 신호를 전자 장치(ED01)의 외부로 출력할 수 있다. 음향 출력 장치(ED55)는, 스피커 및/또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 리시버는 스피커의 일부로 결합되어 있거나 또는 독립된 별도의 장치로 구현될 수 있다.

표시 장치(ED60)는 전자 장치(ED01)의 외부로 정보를 시각적으로 제공할 수 있다. 표시 장치(ED60)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 표시 장치(ED60)는 터치를 감지하도록 설정된 터치 회로(Touch Circuitry), 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(압력 센서 등)를 포함할 수 있다.

오디오 모듈(ED70)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 오디오 모듈(ED70)은, 입력 장치(ED50)를 통해 소리를 획득하거나, 음향 출력 장치(ED55), 및/또는 전자 장치(ED01)와 직접 또는 무선으로 연결된 다른 전자 장치(전자 장치(ED02) 등)의 스피커 및/또는 헤드폰을 통해 소리를 출력할 수 있다.

센서 모듈(ED76)은 전자 장치(ED01)의 작동 상태(전력, 온도 등), 또는 외부의 환경 상태(사용자 상태 등)를 감지하고, 감지된 상태에 대응하는 전기 신호 및/또는 데이터 값을 생성할 수 있다. 센서 모듈(ED76)은, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(Infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 및/또는 조도 센서를 포함할 수 있다.

인터페이스(ED77)는 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 또는 복수의 지정된 프로토콜들을 지원할 수 있다. 인터페이스(ED77)는, HDMI(High Definition Multimedia Interface), USB(Universal Serial Bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다.

연결 단자(ED78)는, 전자 장치(ED01)가 다른 전자 장치(전자 장치(ED02) 등)와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 연결 단자(ED78)는, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 및/또는 오디오 커넥터(헤드폰 커넥터 등)를 포함할 수 있

햅틱 모듈(ED79)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동, 움직임 등) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(ED79)은, 모터, 압전 소자, 및/또는 전기 자극 장치를 포함할 수 있다.

카메라 모듈(ED80)은 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(ED80)은 상술한 영상 획득 장치(1000)를 포함할 수 있고, 추가적인 렌즈 어셈블리, 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 카메라 모듈(ED80)에 포함된 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다.

전력 관리 모듈(ED88)은 전자 장치(ED01)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(ED88)은, PMIC(Power Management Integrated Circuit)의 일부로서 구현될 수 있다.

배터리(ED89)는 전자 장치(ED01)의 구성 요소에 전력을 공급할 수 있다. 배터리(ED89)는, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 및/또는 연료 전지를 포함할 수 있다.

통신 모듈(ED90)은 전자 장치(ED01)와 다른 전자 장치(전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)간의 직접(유선) 통신 채널 및/또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(ED90)은 프로세서(ED20)(어플리케이션 프로세서 등)와 독립적으로 운영되고, 직접 통신 및/또는 무선 통신을 지원하는 하나 또는 복수의 커뮤니케이션 프로세서들을 포함할 수 있다. 통신 모듈(ED90)은 무선 통신 모듈(ED92)(셀룰러 통신 모듈, 근거리 무선 통신 모듈, GNSS(Global Navigation Satellite System 등) 통신 모듈) 및/또는 유선 통신 모듈(ED94)(LAN(Local Area Network) 통신 모듈, 전력선 통신 모듈 등)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(ED98)(블루투스, WiFi Direct 또는 IrDA(Infrared Data Association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(ED99)(셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(LAN, WAN 등)와 같은 원거리 통신 네트워크)를 통하여 다른 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(단일 칩 등)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(복수 칩들)로 구현될 수 있다. 무선 통신 모듈(ED92)은 가입자 식별 모듈(ED96)에 저장된 가입자 정보(국제 모바일 가입자 식별자(IMSI) 등)를 이용하여 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크 내에서 전자 장치(ED01)를 확인 및 인증할 수 있다.

안테나 모듈(ED97)은 신호 및/또는 전력을 외부(다른 전자 장치 등)로 송신하거나 외부로부터 수신할 수 있다. 안테나는 기판(PCB 등) 위에 형성된 도전성 패턴으로 이루어진 방사체를 포함할 수 있다. 안테나 모듈(ED97)은 하나 또는 복수의 안테나들을 포함할 수 있다. 복수의 안테나가 포함된 경우, 통신 모듈(ED90)에 의해 복수의 안테나들 중에서 제1 네트워크(ED98) 및/또는 제2 네트워크(ED99)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 안테나가 선택될 수 있다. 선택된 안테나를 통하여 통신 모듈(ED90)과 다른 전자 장치 간에 신호 및/또는 전력이 송신되거나 수신될 수 있다. 안테나 외에 다른 부품(RFIC 등)이 안테나 모듈(ED97)의 일부로 포함될 수 있다.

구성요소들 중 일부는 주변 기기들간 통신 방식(버스, GPIO(General Purpose Input and Output), SPI(Serial Peripheral Interface), MIPI(Mobile Industry Processor Interface) 등)을 통해 서로 연결되고 신호(명령, 데이터 등)를 상호 교환할 수 있다.

명령 또는 데이터는 제2 네트워크(ED99)에 연결된 서버(ED08)를 통해서 전자 장치(ED01)와 외부의 전자 장치(ED04)간에 송신 또는 수신될 수 있다. 다른 전자 장치들(ED02, ED04)은 전자 장치(ED01)와 동일한 또는 다른 종류의 장치일 수 있다. 전자 장치(ED01)에서 실행되는 동작들의 전부 또는 일부는 다른 전자 장치들(ED02, ED04, ED08) 중 하나 또는 복수의 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(ED01)가 어떤 기능이나 서비스를 수행해야 할 때, 기능 또는 서비스를 자체적으로 실행시키는 대신에 하나 또는 복수의 다른 전자 장치들에게 그 기능 또는 그 서비스의 일부 또는 전체를 수행하라고 요청할 수 있다. 요청을 수신한 하나 또는 복수의 다른 전자 장치들은 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(ED01)로 전달할 수 있다. 이를 위하여, 클라우드 컴퓨팅, 분산 컴퓨팅, 및/또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.

도 11은 도 10의 전자 장치에 구비되는 카메라 모듈(ED80)을 개략적으로 예시한 블록도이다. 카메라 모듈(ED80)은 전술한 영상 획득 장치(1000)를 포함할 수 있고, 또는 이로부터 변형된 구조를 가질 수 있다. 도 11을 참조하면, 카메라 모듈(ED80)은 렌즈 어셈블리(CM10), 플래시(CM20), 이미지 센서(CM30), 이미지 스태빌라이저(CM40), 메모리(CM50)(버퍼 메모리 등), 및/또는 이미지 시그널 프로세서(CM60)를 포함할 수 있다.

이미지 센서(CM30)은 도 1 내지 3을 참조하여 설명한 이미지 센서로서, 하나의 픽셀에 배치된 복수의 서브 픽셀, 각각의 서브 픽셀에 접속되고, 각각의 서브 픽셀에 입사된 포톤에 따라 생성된 복수의 펄스 신호를 카운팅하여 출력하는 복수의 카운터 및 각각의 카운터로부터 출력된 출력 값들에 대해 소정의 연산을 수행하는 연산기를 포함한다. 따라서, 이미지 센서(CM30)는 포토카운팅 기술을 이용하여, 이미지센서에서 읽어들인 픽셀값을 픽셀 외부의 이미지처리회로(ISP)에 전달하지 않고, 화소내(In-Pixel)에서 픽셀값들에 대한 연산을 직접 수행할 수 있다. 또한, 픽셀값들을 연산해야하는 처리 동작, 예를 들면 2PD 오토포커스를 위한 픽셀값 연산을 픽셀 내에서 수행함으로써, AF 속도 향상과 영상획득장치의 소비전력을 감소시킬 수 있다. 또한, 복수 개의 서브 픽셀을 포함하여, 개별 서브 픽셀을 선택적으로 구동하여 픽셀값을 획득함으로써, 동일한 사이즈의 리드아웃회로를 이용하고도 서브 픽셀의 개수만큼 큰 해상도를 갖는 영상을 얻을 수 있다.

렌즈 어셈블리(CM10)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 카메라 모듈(ED80)은 복수의 렌즈 어셈블리(CM10)들을 포함할 수도 있으며, 이런 경우, 카메라 모듈(ED80)은, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(Spherical Camera)가 될 수 있다. 복수의 렌즈 어셈블리(CM10)들 중 일부는 동일한 렌즈 속성(화각, 초점 거리, 자동 초점, F 넘버(F Number), 광학 줌 등)을 갖거나, 또는 다른 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(CM10)는, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.

렌즈 어셈블리(CM10)는 이미지 센서(CM30)에 구비되는 이미지 센서가 피사체의 광학 상을 형성할 수 있도록 구성될 수 있고 및/또는 포커스 제어될 수 있다.

플래시(CM20)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 플래시(CM20)는 하나 또는 복수의 발광 다이오드들(RGB(Red-Green-Blue) LED, White LED, Infrared LED, Ultraviolet LED 등), 및/또는 Xenon Lamp를 포함할 수 있다.

이미지 스태빌라이저(CM40)는 카메라 모듈(ED80) 또는 이를 포함하는 전자 장치(CM01)의 움직임에 반응하여, 렌즈 어셈블리(CM10)에 포함된 하나 또는 복수개의 렌즈 또는 이미지센서(1000)를 특정한 방향으로 움직이거나 이미지센서(1000)의 동작 특성을 제어(리드 아웃(Read-Out) 타이밍의 조정 등)하여 움직임에 의한 부정적인 영향이 보상되도록 할 수 있다. 이미지 스태빌라이저(CM40)는 카메라 모듈(ED80)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(ED80) 또는 전자 장치(ED01)의 움직임을 감지할 수 있다. 이미지 스태빌라이저(CM40)는, 광학식으로 구현될 수도 있다.

메모리(CM50)는 이미지센서(1000)를 통하여 획득된 이미지의 일부 또는 전체 데이터가 다음 이미지 처리 작업을 위하여 저장할 수 있다. 예를 들어, 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 데이터(Bayer-Patterned 데이터, 고해상도 데이터 등)는 메모리(CM50)에 저장하고, 저해상도 이미지만을 디스플레이 해준 후, 선택된(사용자 선택 등) 이미지의 원본 데이터가 이미지 시그널 프로세서(CM60)로 전달되도록 하는데 사용될 수 있다. 메모리(CM50)는 전자 장치(ED01)의 메모리(ED30)로 통합되어 있거나, 또는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.

이미지 시그널 프로세서(CM60)는 이미지 센서(CM30)을 통하여 획득된 이미지 또는 메모리(CM50)에 저장된 이미지 데이터에 대하여 이미지 처리들을 수행할 수 있다.

이미지 처리들은, 이외에도, 깊이 지도(Depth Map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 및/또는 이미지 보상(노이즈 감소, 해상도 조정, 밝기 조정, 블러링(Blurring), 샤프닝(Sharpening), 소프트닝(Softening) 등)을 포함할 수 있다. 이미지 시그널 프로세서(CM60)는 카메라 모듈(ED80)에 포함된 구성 요소들(이미지 센서(CM30) 등)에 대한 제어(노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(CM50)에 다시 저장 되거나 카메라 모듈(ED80)의 외부 구성 요소(메모리(ED30), 표시 장치(ED60), 전자 장치(ED02), 전자 장치(ED04), 서버(ED08) 등)로 제공될 수 있다. 이미지 시그널 프로세서(CM60)는 프로세서(ED20)에 통합되거나, 프로세서(ED20)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(CM60)가 프로세서(ED20)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(CM60)에 의해 처리된 이미지는 프로세서(ED20)에 의하여 추가의 이미지 처리를 거친 후 표시 장치(ED60)를 통해 표시될 수 있다.

전자 장치(ED01)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(ED80)들을 포함할 수 있다. 이런 경우, 복수의 카메라 모듈(ED80)들 중 하나는 광각 카메라이고, 다른 하나는 망원 카메라일 수 있다. 유사하게, 복수의 카메라 모듈(ED80)들 중 하나는 전면 카메라이고, 다른 하나는 후면 카메라일 수 있다.

도 12 내지 도 21은 실시예에 따른 영상 획득 장치가 적용된 전자 장치의 다양한 예를 보인다.

실시예들에 따른 영상 획득 장치는 도 12에 도시된 모바일 폰 또는 스마트 폰(5100m), 도 13에 도시된 태블릿 또는 스마트 태블릿(5200), 도 14에 도시된 디지털 카메라 또는 캠코더(5300), 도 15에 도시된 노트북 컴퓨터(5400)에 또는 도 19에 도시된 텔레비전 또는 스마트 텔레비전(5500) 등에 적용될 수 있다. 예를 들어, 스마트폰(5100m) 또는 스마트 태블릿(5200)은 고해상 이미지센서가 각각 탑재된 복수의 고해상 카메라를 포함할 수 있다. 고해상 카메라들을 이용하여 영상 내 피사체들의 깊이 정보를 추출하거나, 영상의 아웃포커싱을 조절하거나, 영상 내 피사체들을 자동으로 식별할 수 있다.

또한, 영상 획득 장치(1000)는 도 17에 도시된 스마트 냉장고(5600), 도 18에 도시된 보안 카메라(5700), 도 19에 도시된 로봇(5800), 도 20에 도시된 의료용 카메라(5900) 등에 적용될 수 있다. 예를 들어, 스마트 냉장고(5600)는 영상 획득 장치(1000)를 이용하여 냉장고 내에 있는 음식을 자동으로 인식하고, 특정 음식의 존재 여부, 입고 또는 출고된 음식의 종류 등을 스마트폰을 통해 사용자에게 알려줄 수 있다. 보안 카메라(5700)는 초고해상도 영상을 제공할 수 있으며 높은 감도를 이용하여 어두운 환경에서도 영상 내의 사물 또는 사람을 인식 가능하게 할 수 있다. 로봇(5800)은 사람이 직접 접근할 수 없는 재해 또는 산업 현장에서 투입되어 고해상도 영상을 제공할 수 있다. 의료용 카메라(5900)는 진단 또는 수술을 위한 고해상도 영상을 제공할 수 있으며 시야를 동적으로 조절할 수 있다.

또한, 영상 획득 장치(1000)는 도 21에 도시된 바와 같이 차량(6000)에 적용될 수 있다. 차량(6000)은 다양한 위치에 배치된 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 포함할 수 있으며. 각각의 차량용 카메라(6010, 6020, 6030, 6040)는 실시예에 따른 영상 획득 장치를 포함할 수 있다. 차량(6000)은 복수의 차량용 카메라(6010, 6020, 6030, 6040)를 이용하여 차량(6000) 내부 또는 주변에 대한 다양한 정보를 운전자에게 제공할 수 있으며, 영상 내의 사물 또는 사람을 자동으로 인식하여 자율 주행에 필요한 정보를 제공할 수 있다.

상술한 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치가 비록 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.

Claims

포톤 카운팅을 이용한 이미지 센서에 있어서,
하나의 픽셀에 배치된 복수의 서브 픽셀;
각각의 서브 픽셀에 접속되고, 상기 각각의 서브 픽셀에 입사된 포톤에 따라 생성된 복수의 펄스 신호를 카운팅하여 출력하는 복수의 카운터; 및
각각의 카운터로부터 출력된 출력 값들에 대해 소정의 연산을 수행하는 연산기를 포함하는, 이미지 센서.
제 1 항에 있어서,
각각의 서브 픽셀은,
SPAD(Single Photon Avalanche Diode)인, 이미지 센서.
제 1 항에 있어서,
상기 복수의 서브 픽셀은,
제1 서브 픽셀 및 제2 서브 픽셀인, 이미지 센서.
제 1 항에 있어서,
상기 연산은,
덧셈, 뺄셈, 곱셈 및 나눗셈 중 어느 하나인, 이미지 센서.
제 4 항에 있어서,
상기 덧셈, 뺄셈, 곱셈 및 나눗셈 중 적어도 하나의 연산이 미리 설정된, 이미지 센서.
제 3 항에 있어서,
상기 연산기는,
상기 제1 서브 픽셀에 접속된 제1 카운터로부터 출력된 제1 출력값과, 상기 제2 서브 픽셀에 접속된 제2 카운터로부터 출력된 제2 출력값에 대해 뺄셈 연산을 수행한 결과값을 출력하는, 이미지 센서.
제 1 항에 있어서,
상기 각각의 서브 픽셀의 사이즈는 서로 상이한, 이미지 센서.
하나의 픽셀에 복수의 서브 픽셀이 배치된, 픽셀 어레이;
각각의 서브 픽셀에 접속되고, 상기 각각의 서브 픽셀에 입사된 포톤에 따라 생성된 복수의 펄스 신호를 카운팅하여 출력하는 복수의 카운터;
각각의 카운터로부터 출력된 출력 값들에 대해 소정의 연산을 수행하는 연산기; 및
각각의 픽셀의 연산기로부터 출력된 연산값들을 처리하는 제어부를 포함하는, 영상 획득 장치.
제 8 항에 있어서,
각각의 서브 픽셀은,
SPAD(Single Photon Avalanche Diode)인, 영상 획득 장치.
제 8 항에 있어서,
상기 연산은,
덧셈, 뺄셈, 곱셈 및 나눗셈 중 어느 하나인, 영상 획득 장치.
제 10 항에 있어서,
상기 제어부는,
상기 덧셈, 뺄셈, 곱셈 및 나눗셈 중 어느 하나의 연산을 설정하는, 영상 획득 장치.
제 8 항에 있어서,
상기 복수의 서브 픽셀은,
제1 서브 픽셀 및 제2 서브 픽셀을 포함하는, 영상 획득 장치.
제 12 항에 있어서,
상기 연산기는,
상기 제1 서브 픽셀에 접속된 제1 카운터로부터 출력된 제1 출력값과, 상기 제2 서브 픽셀에 접속된 제2 카운터로부터 출력된 제2 출력값에 대해 뺄셈 연산을 수행한 결과값을 출력하는, 영상 획득 장치.
제 13 항에 있어서,
상기 제어부는,
상기 픽셀 어레이의 각각의 연산기로부터 출력된 복수의 결과값을 이용하여 위상차 AF(Auto Focusing)를 수행하는, 영상 획득 장치.
제 8 항에 있어서,
상기 제어부는,
상기 복수의 서브 픽셀에 대해 개별적으로 선택 신호를 출력하는, 영상 획득 장치.
제 8 항에 있어서,
상기 복수의 서브 픽셀 중 제1 서브 픽셀은 저조도에 대응하는 픽셀이고,
상기 복수의 서브 픽셀 중 제2 서브 픽셀은 고조도에 대응하는 픽셀인, 영상 획득 장치.
제 8 항에 있어서,
상기 각각의 서브 픽셀의 사이즈는 서로 상이한, 영상 획득 장치.
제 8 항에 있어서,
상기 픽셀 어레이 및 리드아웃회는 각각 M×N이고,
상기 복수의 서브 픽셀이 K 개인 경우, 상기 픽셀 어레이로부터 획득된 영상의 해상도는 K×M×N인, 영상 획득 장치.
제 8 항에 있어서,
상기 픽셀 어레이, 상기 카운터 및 상기 연산기는 픽셀 내부(In-Pixel)에 배치되고,
상기 제어부는, 픽셀 외부(Out-Pixel)에 배치된, 영상 획득 장치.
제 8 항 내지 제 19 항 중 어느 하나의 영상 획득 장치를 포함하는 전자 장치.