KR20220038972A

KR20220038972A - 전자 장치 및 그 이미지 비닝방법

Info

Publication number: KR20220038972A
Application number: KR1020200121451A
Authority: KR
Inventors: 정재진; 이승진; 유귀성
Original assignee: 삼성전자주식회사
Priority date: 2020-09-21
Filing date: 2020-09-21
Publication date: 2022-03-29
Also published as: US20220094862A1; CN114257801A

Abstract

이미지 비닝을 수행하는 전자장치가 제공된다. 전자 장치는, 복수의 컬러 픽셀 및 특수 픽셀을 포함하는 로우 이미지를 출력하는 픽셀 어레이, 로우 이미지의 단위 커널마다 열(row) 방향 픽셀들에 대해 제1 비닝하여 출력하는 로직 회로 및 제1 비닝된 이미지를 제2 비닝하여 출력하는 프로세서를 포함하고, 특수 픽셀이 포함된 단위 커널의 경우, 특수 픽셀이 속한 열은 특수 픽셀이 속하지 않은 열과 다른 리드아웃 타이밍에 리드아웃되어 제1 비닝하고, 제2 비닝은 특수 픽셀이 속하지 않은 열 및 특수 픽셀이 속한 열 각각의 제1 비닝된 이미지를 결합한다.

Description

전자 장치 및 그 이미지 비닝방법{Electronic Device and Image Binning Method thereof}

본 발명은 전자 장치에 관한 것으로, 더 상세하게는 이미지 비닝을 수행하는 전자장치에 관한 것이다.

이미지 센서의 픽셀 어레이는 컬러 픽셀과 PAF 픽셀을 포함한다. PAF는 위상 검출 자동 초점 또는 위상 차이 자동 초점을 의미할 수도 있다.

이미지 센서에서 센싱된 로우 이미지를 비닝할 때 아날로그 비닝 방식은 프레임 레이트는 빠르지만, PAF 픽셀로 인해 화질 열화가 발생하고, 디지털 비닝 방식은 PAF 픽셀을 고려하므로 화질 열화 문제점은 해결되지만 프레임 레이트가 느려지는 문제가 있다.

본 발명이 해결하고자 하는 기술적 과제는 비닝된 이미지의 해상도를 확보하면서도 프레임 레이트가 향상된 전자 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는 해상도를 확보하면서도 프레임 레이트가 향상된 전자 장치의 이미지 비닝 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 전자 장치는, 복수의 컬러 픽셀 및 특수 픽셀을 포함하는 로우 이미지를 출력하는 픽셀 어레이, 로우 이미지의 단위 커널마다 열(row) 방향 픽셀들에 대해 제1 비닝하여 출력하는 로직 회로 및 제1 비닝된 이미지를 제2 비닝하여 출력하는 프로세서를 포함하고, 특수 픽셀이 포함된 단위 커널의 경우, 특수 픽셀이 속한 열은 특수 픽셀이 속하지 않은 열과 다른 리드아웃 타이밍에 리드아웃되어 제1 비닝하고, 제2 비닝은 특수 픽셀이 속하지 않은 열 및 특수 픽셀이 속한 열 각각의 제1 비닝된 이미지를 결합한다.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 이미지 센서 및 어플리케이션 프로세서를 포함하는 전자 장치에 있어서, 이미지 센서는 복수개의 단위 커널이 베이어 패턴으로 배치되고, 로우 이미지를 생성하는 픽셀 어레이; 및 픽셀 어레이에 액세스하여 로우 이미지를 열 방향으로 제1 비닝하여 출력하는 로직 회로를 포함하고, 단위 커널은 복수 개의 동일 컬러 픽셀을 포함하는 NxN 서브 어레이이고(N은 2이상의 자연수), 적어도 하나의 상기 단위 커널은 적어도 하나의 열에 특수 픽셀을 포함하고, 어플리케이션 프로세서는 단위 커널 단위로 제1 비닝된 컬러 픽셀값 및 제1 비닝된 특수 픽셀값을 저장하는 메모리 및 제1 비닝된 컬러 픽셀값들을 제2 비닝하여 출력하는 프로세서를 포함할 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 또다른 실시예에 따른 전자 장치의 이미지 비닝 방법은, 복수개의 단위 커널이 베이어 패턴으로 배치되는 픽셀 어레이를 포함하여, 로우(Raw) 이미지를 생성하고, 로우 이미지에서 리드아웃 타이밍에 턴온되는 열(row)에 속한 로우 픽셀값들을 제1 비닝하여 출력하는 이미지 센서 및 제1 비닝된 픽셀값을 행 방향으로 제2 비닝하여 출력하는 프로세서를 포함하고, 단위 커널 각각은 픽셀 어레이에 복수개 포함되는 NxN 서브 어레이이고(N은 2이상의 자연수), 단위 커널 내 적어도 하나의 제1 열의 리드아웃 타이밍은 나머지 제2 열에 대한 제2 리드아웃 타이밍과 다를 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 몇몇 실시예에 따른 전자 장치를 나타낸 도면이다.
도 2는 본 발명의 몇몇 실시예에 따른 픽셀 어레이를 나타낸 도면이다.
도 3은 본 발명의 몇몇 실시예에 따라 이미지 비닝처리된 최종 출력 이미지를 나타낸 것이다.
도 4 내지 도 6은 몇몇 실시예에 따라 전자장치의 제1 비닝을 설명하기 위한 도면이다.
도 7 및 도 8은 몇몇 실시예에 따른 픽셀 어레이 및 로직 회로를 나타낸 블록도이다.
도 9는 몇몇 실시예에 따라 이미지 센서에서 출력되는 제1 비닝된 이미지의 데이터 구조를 나타낸 것이다.
도 10a 내지 도 10c는 몇몇 실시예에 따른 픽셀 구조를 나타낸 것이다.
도 11a 내지 도 11c는 몇몇 실시예에 따른 픽셀 구조를 나타낸 것이다.
도 12a 내지 도 12d는 몇몇 실시예에 따른 픽셀 구조를 나타낸 것이다.
도 13은 몇몇 실시예에 따른 픽셀 어레이의 단위 커널을 나타낸 것이다.
도 14 및 15는 도 1에 도시된 이미지 센서를 나타낸 도면이다.
도 16은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 17은 도 16의 카메라 모듈의 상세 블록도이다.

상세한 설명에서 사용되는 "부(unit)", "모듈(module)" 등과 같은 용어들 또는 도면에 도시된 기능 블록들은 특정 기능을 수행하도록 구성된 하드웨어, 소프트웨어, 또는 그것의 조합의 형태로 구현될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 기술적 사상에 따른 실시예들에 대해 설명한다.

도 1은 본 발명의 몇몇 실시예에 따른 전자 장치를 나타낸 도면이다. 도 2는 본 발명의 몇몇 실시예에 따른 픽셀 어레이를 나타낸 도면이다. 도 3은 본 발명의 몇몇 실시예에 따라 이미지 비닝처리된 최종 출력 이미지를 나타낸 것이다.

도 1을 참조하면, 몇몇 실시예에 따라 전자 장치(1000)는 이미지 센서(1100) 및 어플리케이션 프로세서(1200)를 포함할 수 있다.

이미지 센서(1100)는 피사체에서 반사되는 광을 수신하여, 수신된 광을 센싱하여 로우 이미지를 생성하고, 로우 이미지를 전처리하여 출력할 수 있다. 예를 들어, 이미지 센서(1100)는 로우 이미지를 제1 비닝하여, 제1 비닝된 이미지를 출력할 수 있다.

몇몇 실시예에 따라 이미지 센서(1100)는 픽셀 어레이(110), 로직 회로(120) 및 제1 메모리(130)를 포함할 수 있다.

픽셀 어레이(110)는 복수의 픽셀을 포함하고, 몇몇 실시예에 따라, 베이어 패턴으로 배치된 레드(R), 그린(G), 블루(B) 컬러 픽셀 어레이를 포함할 수 있다. 또한 몇몇 실시예에 따라 픽셀 어레이(110)는 특수 픽셀을 더 포함할 수 있다. 예를 들어 특수 픽셀은 위상 검출 자동 초점(Phase detection auto focus), 위상 차이 자동 초점(Phase difference auto focus)를 위한 픽셀일 수 있다. 구체적인 설명은 도 2에서 설명하기로 한다.

몇몇 실시예에 따라 로직 회로(120)는 픽셀 어레이(110)에 액세스하여 픽셀 어레이(110)로부터 픽셀값을 리드아웃하여 로우 이미지를 생성하고, 제1 비닝을 수행할 수 있다. 예를 들어 제1 비닝은 서브 어레이에서 열 방향으로 비닝하는 것일 수 있다. 예를 들어 제1 비닝은 아날로그 회로에서 비닝하는 것을 의미할 수 있다. 로직 회로에 대해서는 도 7 내지 도 8을 참고하여 설명한다.

제1 메모리(130)는 몇몇 실시예에 따라 비휘발성 메모리로서 이미지 센서(1100)가 동작하는데 필요한 정보를 저장할 수 있다. 예를 들어 이미지 센서(1100)의 동작에 필요한 레지스터값, 제어/명령과 관련된 값들을 저장할 수 있다. 몇몇 실시예에 따라 제1 메모리(130)는 동작 메모리로서, 몇몇 실시예에 따라 캐시(Cache), ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable PROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PRAM(Phase-change RAM), 플래시(Flash) 메모리, SRAM(Static RAM), 또는 DRAM(Dynamic RAM)을 포함할 수 있다.

어플리케이션 프로세서(1200)는 이미지 센서(1100)에서 수신된 제1 비닝된 이미지를 이미지 프로세싱할 수 있다. 몇몇 실시예에 따라 어플리케이션 프로세서(1200)는 제1 비닝된 이미지를 제2 비닝하여 출력할 수 있다. 제2 비닝된 이미지는 예를 들면 도 3과 같이 도 2의 로우 이미지에 비하여 비닝동작으로 압축된 이미지일 수 있다.

몇몇 실시예에 따라 도 2의 로우 이미지는 108M 픽셀 데이터인데 비해 도 3의 최종 비닝된 이미지는 12M 픽셀 데이터 일 수 있다.

몇몇 실시예에 따라 어플리케이션 프로세서(1200)는 프로세싱 유닛(210) 및 제2 메모리(220)를 포함할 수 있다.

프로세싱 유닛(210)은 이미지 센서(110)로부터 수신된 이미지(예를 들어 제1 비닝된 이미지)에 대하여 이미지 프로세싱을 수행할 수 있다. 몇몇 실시예에 따라 이미지 프로세싱은 제2 비닝을 포함할 수 있다. 예를 들어 제2 비닝은 제1 비닝된 이미지를 행 방향으로 에버리징(average)하는 것일 수 있다. 예를 들어 제2 비닝은 제1 비닝된 픽셀값을 디지털 연산처리로 에버리징하는 것을 의미할 수 있다.

제2 메모리(220)는 동작 메모리로서 수신된 데이터 및 어플리케이션 정보를 임시로 저장하거나, 프로세싱 유닛(210)에서 연산된 결과를 임시로 저장할 수 있다. 몇몇 실시예에 따라 제2 메모리(220)는 이미지 센서(1100)에서 수신되는 제1 비닝된 이미지를 저장하였다가, 프로세싱 유닛(210)이 제2 비닝을 수행할 수 있도록 전송할 수 있다.

예시적 실시예에 따라 제2 메모리(220)는 버퍼 메모리일 수 있으며, 몇몇 실시예에 따라 캐시(Cache), ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable PROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PRAM(Phase-change RAM), 플래시(Flash) 메모리, SRAM(Static RAM), 또는 DRAM(Dynamic RAM)을 포함할 수 있다.

또한, 전자 장치는 몇몇 실시예에 따라 디스플레이 모듈(1300)을 더 포함할 수 있고, 어플리케이션 프로세서(1200)에서 처리된 이미지를 수신하여 디스플레이 모듈(1300)에 표시할 수 있다.

도 4 내지 도 6은 몇몇 실시예에 따라 전자장치의 제1 비닝을 설명하기 위한 도면이다. 도 2 내지 도 6을 참고하면, 몇몇 실시예에 따라 전자 장치는 도 2의 로우 이미지에 대해 제1 및 제2 비닝을 수행하여 도 3의 비닝된 이미지를 생성할 수 있다.

도 2에서, 몇몇 실시예에 따른 24x 24 픽셀 어레이를 가정하여 설명한다. 픽셀 어레이(110)는 베이어 패턴으로 배치된 복수의 단위 커널을 포함할 수 있다. 단위 커널(K1, K2)은 동일 컬러 픽셀의 집합으로서, NxN 서브 어레이일 수 있다(N은 2이상의 자연수).

도시된 실시예에서는 단위 커널이 3x3 서브 어레이(N=3)인 경우를 도시한 것으로 픽셀 어레이(110)는 8x8 단위 커널을 포함할 수 있다. 일 실시예에 따라 단위 커널(K1, K2)은 동일 컬러 픽셀만 포함할 수도 있고, 다른 실시예에 따라 단위 커널은 동일 컬러 픽셀 및 특수 픽셀을 포함할 수도 있다.

특수 픽셀을 포함하는 단위 커널의 경우, 인접한 단위 커널끼리 대면하는 특수 픽셀을 각각 포함할 수 있다. 몇몇 실시예에 따라 단위 커널 K1은 적어도 하나의 열(Col 8)에 특수 픽셀 L00 및 L10을 포함하고, 단위 커널 K2는 적어도 하나의 열(Col 9)에 특수 픽셀 R0 및 R1을 포함할 수 있다. 단위 커널 K1과 단위 커널 K2는 서로 인접하고, 특수 픽셀 각각은 서로 대면할 수 있다. 즉, 특수 픽셀이 속한 열이 서로 인접할 수 있다.

설명의 편의를 위하여 단위 커널을 3x3 서브 어레이로 설명하나, 다양한 실시예에 따라 2x2 서브 어레이, 4x4 서브 어레이, 5x5 서브 어레이 등 NxN 서브 어레이는 N이 2 이상의 자연수인 경우 모두 본 발명 사상이 적용가능하다고 할 것이다.

픽셀 어레이(110)는 몇몇 실시예에 따라 단위 커널 단위로 인에이블될 수도 있고, 몇몇 실시예에 따라 열(Column) 단위로 인에이블될 수도 있다. 설명의 편의를 위해, 하나의 단위 커널(K1, K2)을 기준으로 비닝 동작을 설명하나, 단위 커널을 복수 개 포함한 픽셀 어레이(110)에도 전체적으로 적용될 수 있다 할 것이다.

일 실시예로, 단위 커널이 3x3 서브 어레이인 경우, 로직 회로(120)는 3개 열에 대한 제1 비닝을 수행할 수 있다. 몇몇 실시예에 따라, 도 2에 도시한 단위 커널에서, 로직 회로(120)는 단위 커널 내 각각의 열(G1, G2, G3)을 서로 다른 타이밍에 리드아웃할 수도 있고, 적어도 하나의 열만 다른 타이밍에 리드아웃할 수도 있고 또는 모두 동일한 타이밍에 리드아웃할 수도 있다.

몇몇 실시예에 따라 NxN 서브 어레이인 단위 커널은 각각의 열에 상응하는 서브그룹 N개를 포함할 수 있다. 도 2를 참고하면, 단위 커널(3x3 서브 어레이)은 서브그룹 G1, G2, G3를 포함할 수 있다. 구체적으로 서브 그룹 G1은 Col 0에 상응하는 (0,18)(0,19)(0,20) 좌표의 픽셀값들을 포함하고, 서브 그룹 G2는 Col 1에 상응하는 (1,18)(1,19)(1,20) 좌표의 픽셀값들을 포함하고, 서브 그룹 G3은 Col 2에 상응하는 (2,18)(2,19)(2,20) 좌표의 픽셀값들을 포함할 수 있다.

몇몇 실시예에 따라 도 2 및 도 4를 참고하면, 로직 회로(120)는 단위 커널 내 적어도 하나의 열에 속하는 픽셀들과 나머지 열에 속하는 픽셀들을 각각 다른 타이밍에 제1 비닝할 수 있다. 도시된 예에서 서브그룹 G1과 G2는 제1 타이밍(0~T1)에 리드아웃하여 제1 비닝하고, 서브그룹 G3는 제1 타이밍과 다른 제2 타이밍(T1~T2)에 리드아웃하여 제1 비닝할 수 있다. 또는 도시된 것과 달리 G1을 리드아웃하고, G1과 다른 타이밍에 G2, G3를 동시에 리드아웃할 수도 있고, 또는 G2를 리드아웃하고, G2와 다른 타이밍에 G1, G3를 동시에 리드아웃할 수도 있다. 나머지 서브그룹과 별개로 리드아웃되는 서브그룹은 몇몇 실시예에 따라 특수 픽셀을 포함할 수도 있고 또는 동일한 컬러 픽셀을 포함할 수도 있다.

이미지 센서(1100)는 제1 비닝을 수행할 때, 복수의 컬러 픽셀을 기초로 한 비닝과 특수 픽셀 비닝을 구분하여 수행하여야 최종 비닝된 이미지의 결함(artifact)생성을 줄일 수 있다. 도 3의 최종 비닝된 이미지는 특수 픽셀을 기초로 한 비닝된 특수 픽셀값을 포함한다. 즉, 로우 이미지가 비닝되더라도 로우 특수 픽셀값은 컬러 픽셀과 별개로 구분되어 비닝할 경우, 해상도가 향상될 수 있다.

도 4의 실시예는 스틸 이미지에 대해 적용될 수 있다. 스틸 이미지의 경우 프레임 레이트와 해상도가 모두 고려되어야 하고, 해상도는 피사체의 위상정보까지 모두 고려될 수 있다.

따라서, 도 4와 같이 특수 픽셀이 속한 열(G3)은 특수 픽셀이 속하지 않은 열(G1, G2)와 다른 타이밍에 리드아웃하여, 추후 제2 비닝에서 G3 비닝 픽셀값을 별도로 이용할 수 있다.

몇몇 실시예에 따라 도 2 및 도 5를 참고하면, 로직 회로(120)는 단위 커널 내 각각의 열에 속하는 픽셀들을 모두 동일한 타이밍에 제1 비닝할 수 있다. 도시된 예에서 서브그룹 G1, G2, G3는 제1 타이밍(0~T1)에 리드아웃하여 제1 비닝할 수 있다. 이때 서브그룹 G1, G2, G3 각각은 일 실시예에 따라 동일 컬러 픽셀만 포함할 수도 있고 다른 실시예에 따라 동일 컬러 픽셀에 적어도 하나의 특수 픽셀을 포함할 수도 있다.

도 5의 실시예는 비디오 모드와 같이 동작의 변화를 촬상하는 경우로서, 프레임 레이트가 이미지 해상도 보다 중요한 경우에 적용될 수 있다.

몇몇 실시예에 따라 도 2 및 도 6을 참고하면, 로직 회로(120)는 단위 커널 내 각각의 열을 서로 다른 타이밍에 제1 비닝할 수 있다. 도시된 예에서 서브그룹 G1은 제1 타이밍(0~T1)에 리드아웃하여 제1 비닝할 수 있고, 서브그룹 G2은 제2 타이밍(T1~T2)에 리드아웃하여 제1 비닝할 수 있고, 서브그룹 G3은 제3 타이밍(T2~T3)에 리드아웃하여 제1 비닝할 수 있다. 이때 서브그룹 G1, G2, G3 각각은 일 실시예에 따라 동일 컬러 픽셀만 포함할 수도 있고 다른 실시예에 따라 동일 컬러 픽셀에 적어도 하나의 특수 픽셀을 포함할 수도 있다.

도 6의 실시예는 스틸 이미지 모드에서 적용될 수 있고 예를 들어 초고해상도를 요구하는 근접 촬영 또는 야간 촬영 등에 적용될 수 있다.

한편, 제2 비닝은 단위 커널의 제1 비닝된 이미지를 열 방향으로 비닝하는 것으로서, 프로세싱 유닛(210)이 수행한다. 제2 비닝은 서브 그룹 G1의 제1 비닝된 이미지, 서브그룹 G2의 제1 비닝된 이미지 및 서브 그룹 G3의 제1 비닝된 이미지를 에버리징(average)하는 것을 의미할 수 있다.

만약 서브 그룹 중 하나의 열에 특수 픽셀이 속한 경우, 프로세싱 유닛(210)은 먼저, 특수 픽셀이 속한 열에 대해서는 인접한 컬러 픽셀값으로 보정하고, 보정된 컬러 픽셀값 및 나머지 열의 제1 비닝된 이미지를 기초로 제2 비닝을 수행한다.

구체적으로 도 2 및 도 4를 참고로 설명하면, 단위 커널 K1에서 Col 8에 특수 픽셀이 포함되므로, 단위 커널 K1 내 Col 8의 인접 컬러 픽셀에 기초하여 Col 8에 대한 보정 컬러 픽셀값을 먼저 생성한다. 그리고 보정 컬러 픽셀값과 Col 6의 제1 비닝된 컬러 픽셀값, Col 7의 제1 비닝된 컬러 픽셀값을 제2 비닝한다. 프로세싱 유닛(210)는 제2 비닝된 컬러 픽셀값과 제1 비닝된 특수 픽셀값을 조합하여 제2 비닝된, 최종 비닝된 이미지를 도 3과 같이 생성한다.

도 7 및 도 8은 몇몇 실시예에 따른 픽셀 어레이 및 로직 회로를 나타낸 블록도이고, 도 9는 몇몇 실시예에 따라 이미지 센서에서 출력되는 제1 비닝된 이미지의 데이터 구조를 나타낸 것이다.

도 7을 참고하면, 몇몇 실시예에 따라 로직 회로(120)는 로우 드라이버(121), 스위칭 회로(122), ADC(124), 버퍼회로(126), 래치회로(127) 및 컬럼 디코더(128)를 포함할 수 있다.

로우 드라이버(121)는 로우 셀렉트 신호에 따라 픽셀 어레이(110)의 적어도 하나의 행을 활성화한다. 컬럼 디코더(128)는 컬럼 선택신호에 따라 픽셀 어레이(110)의 열 방향으로 인에이블하여, 각 픽셀로부터 픽셀값을 리드아웃한다.

스위칭 회로(122)는 단위 커널 내 인접한 열끼리의 연결을 스위칭한다. ADC(124)는 스위칭 회로(122)에 따라 스위칭된 픽셀 어레이(110)의 각 열을 따라 리드아웃된 전류값을 아날로그-디지털 변환하여 버퍼 회로(126)에 저장한다.

몇몇 실시예에 따라 스위칭 회로(122)는 복수의 스위치를 포함할 수 있다. 몇몇 실시예에 따라 스위칭 회로(122-1, 122-2)는 단위 커널 단위로 동작할 수 있다. 구체적인 예를 들어 단위 커널 K1과 K2는 각각 빗금친 영역에 특수 픽셀을 포함한다고 가정하자.

도 4의 제1 비닝을 수행하는 경우, 스위칭 회로(122-1)는 0-T1 타이밍에 G1, G2는 턴온하고 G3는 턴오프하며, T1-T2 타이밍에 G1,G2는 턴오프하고 G3는 턴온할 수 있다. 마찬가지로 스위칭 회로(122-2)는 0-T1 타이밍에 G5, G6는 턴온하고 G4는 턴오프하며, T1-T2 타이밍에 G5, G6는 턴오프하고 G4는 턴온할 수 있다.

도 5의 제1 비닝을 수행하는 경우, 스위칭 회로(122-1)는 0-T1 타이밍에 G1, G2, G3를 동시에 턴온하고, 스위칭 회로(122-2)는 0-T1 타이밍에 G4, G5, G6를 동시에 턴온할 수 있다.

앞서 설명한 바대로 단위 커널 내 각 열에 대해 스위칭되면, ADC(124)는 스위칭된 출력라인을 따라 수신된 전류값을 합산하여 아날로그-디지털 변환을 수행한다. 이때 로우 드라이버(121)는 하나의 단위 커널에 속한 모든 행을 인에이블하므로, 스위칭 회로(122) 및 ADC(124)를 통해 하나의 열에 속한 3개의 컬러픽셀값에 대해 제1 비닝될 수 있다. 다만, 특수 픽셀이 속한 경우, 컬러 픽셀과 구분하여 2개의 특수 픽셀값에 대해 제1 비닝될 수 있다.

정리하면, 픽셀 어레이(110)로부터 로우 이미지에 대한 픽셀값이 리드아웃되면, 로우 이미지에 대해 단위 커널 단위로 스위칭 회로(122) 및 ADC(124)에 의해 제1 비닝이 수행된다.

ADC(124)는 몇몇 실시예에 따라 도 7에 도시된 바와 같이 단위 커널 내 복수의 열에 모두 연결된 하나의 ADC(124-1, 124-2)일 수도 있다.

또는 몇몇 실시예에 따라 도 8에 도시된 바와 같이 각각의 열에 분리되어 연결된 복수의 ADC(124)일 수도 있다. 즉, NxN 서브어레이에서 ADC의 개수는 열의 개수에 상응하는 N개일 수 있다(N는 2이상의 자연수).

제1 비닝이 완료되어 래치 회로(127)가 래치되면, 버퍼 회로(126)에 저장되어 있던 제1 비닝된 이미지(Data Out)를 어플리케이션 프로세서(1200)로 출력한다.

도 9를 참조하면, 버퍼회로(126)는 제1 비닝된 이미지를 컬러 픽셀값과 특수 픽셀값으로 구분하여 저장한다. 다시 말하면, 제1 비닝된 이미지는 제1 비닝된 컬러 픽셀값(color data) 및 제1 비닝된 특수 픽셀값(Tail)을 포함하고, 제1 비닝된 특수 픽셀값은 제1 비닝된 컬러 픽셀값의 테일(tail)로 버퍼회로(126)에 저장된다. 만약 특수 픽셀이 속하지 않은 행의 경우, 테일은 기설정된 값(예를 들면 Null)으로 설정되어 저장될 수 있다.

래치 회로(127)는 버퍼 회로(126)에 저장된 제1 비닝된 이미지를 시리얼 하게 출력한다. 구체적으로 설명하면, 버퍼회로에 저장된 행을 래치하여 ①→②→③ 순으로 출력하는데, Color Data 1, Tail 1, Color Data2, Tail 2, Color data 3, Tail 3 순으로 순차적으로(Serially) 출력할 수 있다.

이어서 제2 메모리(220)는 이미지 센서(1100)에서 순차적으로 출력된 제1 비닝된 이미지를 저장하고, 프로세싱 유닛(210)은 제2 메모리(220)로부터 제1 비닝된 이미지를 기초로 제2 비닝을 수행할 수 있다.

도 10a 내지 도 10c는 몇몇 실시예에 따른 픽셀 구조를 나타낸 것이다.

몇몇 실시예에 따라 컬러 픽셀 또는 단위 커널이 베이어 패턴으로 배치되고, 각 픽셀마다 1개의 마이크로렌즈(LR, LGr, LGb, LB)가 배치될 수 있다.

도 10a 및 도 10b를 참고하면, 단위 픽셀은 기판(S) 상에 형성된 포토 다이오드, 포토 다이오드 상에 메탈 와이어링 또는 멀티 레이어 와이어링 또는 와이어링 레이어들(IL)이 형성되고, 와이어링 레이어(IL)는 단위 픽셀을 일부 가리는 메탈구조(MS)를 포함할 수 있다. 컬러 필터 어레이(CF)는 중간 절연층(IL) 상면에 단위픽셀에 상응하게 배치되어, 특정 파장을 필터링한다. 컬러 필터 어레이(CF) 상면에는 도시하지는 않았으나 렌즈 버퍼(lens buffer) 또는 평탄화 층(planarization layer)이 형성될 수 있다. 평탄화층 상면에는 단위 픽셀 크기에 상응하는 마이크로 렌즈(LR, LGr, LGb, LB)가 배치될 수 있다.

특수 픽셀은 포토 다이오드(PD)의 일부분을 메탈구조(MS)로 가리고(shield), 메탈 구조로 가려지지 않은 부분으로 입사되는 빛만을 검출한다. 메탈구조로 가려진 픽셀과 가려지지 않은 픽셀, 예를 들어 R픽셀과 Gr픽셀을 이용하여 위상 차이를 검출할 수 있다.

도 10c를 참고하면, 몇몇 실시예에 따라 단위 픽셀은 포토 다이오드(PD), 전송 트랜지스터(T1), 플로팅 디퓨전 영역(FD), 리셋 트랜지스터(T2), 리드아웃 트랜지스터(T3) 및 로우 셀렉트 트랜지스터(T4)를 포함할 수 있다. 플로팅 디퓨전 영역은 리셋 트랜지스터(T2)에 의해 리셋될 때까지 포토 다이오드에 생성된 전하를 일시적으로 저장할 수 있다. 플로팅 디퓨전 영역(FD)에 저장된 전하는 로우 셀렉트 트랜지스터(T4)가 로우 셀렉트 신호에 의해 턴온되면 리드아웃될 수 있다. 한편 다양한 실시예에 따라 포토 다이오드는 핀 포토 다이오드, 포토 게이트, 또는 다른 광 검출 요소를 포함할 수 있다.

도 10b 및 도 10c를 참고하면, 단위 픽셀에서의 동작을 살펴보면, 리셋 트랜지스터(T2)는 플로팅 디퓨전 영역에 기저장된 잔여 전하를 소정의 레벨로 리셋한다. 이후 포토 다이오드는 입사광에 상응하여 광전변환된 전하를 축적하고, 전송 트랜지스터(T1)를 통해 플로팅 디퓨전 영역(FD)에 전송한다. 로우 셀렉트 트랜지스터(T4)가 턴온되면 리드아웃 트랜지스터(T3)를 통해 플로팅 디퓨전 영역(FD)에 축적되어 있던 전하를 리드아웃하여 출력 라인으로 상응하는 전압을 출력한다. 이러한 원리로 일 실시예에 따라 R픽셀과 Gr픽셀 각각은 로우(Row) 드라이버 및 컬럼(Col) 디코더에 의해 인에이블되어 각각의 픽셀에서 메탈구조로 가려지지 않은 위상정보와 메탈구조로 가려진 위상정보를 각각 검출하여, 위상차이를 검출할 수 있다.

한편, 도시된 실시예는 단위 픽셀이 4개의 트랜지스터로 구현된 경우를 설명하였으나, 몇몇 실시예에 따라 3개 또는 5개의 트랜지스터로 구현될 수도 있으며, 또는 몇몇 실시예에 따라 하나의 플로팅 디퓨전 영역이 복수의 포토 다이오드에 공유될 수도 있다. 또는 몇몇 실시예에 따라 리셋 트랜지스터(T2) 또는 리드아웃 트랜지스터(T3)는 복수의 포토 다이오드, 전송 트랜지스터 및 플로팅 디퓨전 영역에 공유될 수도 있다 할 것이다.

도 11a 내지 도 11c는 몇몇 실시예에 따른 픽셀 구조를 나타낸 것이다. 설명의 편의를 위하여 도 10과의 차이를 위주로 설명한다.

도 11a를 참고하면, 도 10a과 달리 1개의 마이크로렌즈는 2개의 포토다이오드(PD1, PD2)에 대응될 수 있다. 상기 2개의 포토다이오드는 몇몇 실시예에 따라 R픽셀, G 픽셀 또는 B픽셀을 의미할 수도 있고, 몇몇 실시예에 따라 단위 커널에서 동일 컬러 픽셀 또는 특수 픽셀을 의미할 수도 있다.

도 11b를 참고하면, 기판(S)에 2개의 포토 다이오드가 형성되고, DTI(Deep Trench Isolation)이 2개의 포토 다이오드(PD1, PD2) 사이에 형성될 수 있다. 포토 다이오드(PD)와 컬러 필터(CF) 사이에 와이어링(wiring) 레이어들이 형성될 수 있다. 다만 도 10b와 달리 와이어링 레이어에 메탈구조를 포함하지 않는다.

몇몇 실시예에 따라 포토 다이오드 PD1, PD2 각각은 동일한 노출시간을 가지되, 서로 다른 타이밍에 전송신호(TG1, TG2)가 턴온되는 서로 인접한 포토 다이오드일 수도 있고 서로 다른 노출시간을 갖도록 설계된 포토 다이오드일 수도 있다.

도 11c를 참고하면, 몇몇 실시예에 따라 2개의 포토 다이오드(PD1, PD2)는 하나의 플로팅 디퓨전 영역(FD)을 공유한다. 즉, 단위 픽셀은 2개의 포토 다이오드들(PD1, PD2)과 2개의 전송 트랜지스터들(TG1, TG2이 각각 인가되는 트랜지스터), 리셋 트랜지스터, 리드 아웃 트랜지스터, 로우 셀렉트 트랜지스터를 포함한다. 또는 몇몇 실시예에 따라 2개의 포토 다이오드(PD1, PD2)는 도시된 것과 달리 플로팅 디퓨전 영역(FD)을 공유하지 않을 수도 있다.

도 12a 내지 도 12d는 몇몇 실시예에 따른 픽셀 구조를 나타낸 것이다. 설명의 편의를 위하여 도 10과의 차이를 위주로 설명한다.

도 12a를 참고하면, 도 10a과 달리 1개의 마이크로렌즈는 4개의 포토다이오드(PD1, PD2, PD3, PD4)에 대응될 수 있다. 상기 4개의 포토다이오드는 몇몇 실시예에 따라 R픽셀, G 픽셀 또는 B픽셀을 의미할 수도 있고, 몇몇 실시예에 따라 단위 커널에서 동일 컬러 픽셀 또는 특수 픽셀을 의미할 수도 있다.

도 12b 및 도 12c를 참고하면, 기판(S)에 4개의 포토 다이오드가 2x2 어레이 형태로 형성되고, DTI(Deep Trench Isolation)이 4개의 포토 다이오드(PD1, PD2, PD3, PD4) 사이에 형성될 수 있다. 포토 다이오드(PD)와 컬러 필터(CF) 사이에 와이어링(wiring) 레이어들이 형성될 수 있다. 다만 도 10b와 달리 와이어링 레이어에 메탈구조를 포함하지 않는다.

몇몇 실시예에 따라 포토 다이오드 PD1, PD2, PD3, PD4 각각은 동일한 노출시간을 가지되, 서로 다른 타이밍에 전송신호(TG1, TG2, TG3, TG4)가 턴온되는 서로 인접한 포토 다이오드일 수도 있고, 또는 서로 다른 노출시간을 갖도록 설계된 포토 다이오드일 수도 있다.

도 12d를 참고하면, 몇몇 실시예에 따라 4개의 포토 다이오드(PD1, PD2, PD3, PD4)는 하나의 플로팅 디퓨전 영역(FD)을 공유한다. 즉, 단위 픽셀은 4개의 포토 다이오드들(PD1, PD2, PD3, PD4)과 4개의 전송 트랜지스터들(TG1, TG2, TG3, TG4가 각각 인가되는 트랜지스터), 리셋 트랜지스터, 리드 아웃 트랜지스터, 로우 셀렉트 트랜지스터를 포함한다. 또는 몇몇 실시예에 따라 4개의 포토 다이오드(PD1, PD2, PD3, PD4)는 도시된 것과 달리 플로팅 디퓨전 영역(FD)을 공유하지 않을 수도 있고, 또는 몇몇 실시예에 따라 적어도 2개의 전송 트랜지스터들끼리 일부 공유할 수도 있다.

도 13은 몇몇 실시예에 따른 픽셀 어레이의 단위 커널을 나타낸 것이다.

몇몇 실시예에 따라 NxN 서브 어레이인 단위 커널은 각각의 열에 상응하는 서브그룹 N개를 포함할 수 있다. 도 13을 참고하면, 단위 커널(KH)은 4x4 서브 어레이일 수 있고, 이 경우 서브그룹 GH1, GH2, GH3, GH4를 포함할 수 있다.

도 13의 실시예의 경우 도 4 내지 도 6의 제1 비닝 동작은 각각의 서브그룹 GH1, GH2, GH3, GH4 단위로 수행될 수 있다.

구체적으로 설명하면, 이미지 센서(1100)는 몇몇 실시예에 따라 서브그룹 GH1, GH2, GH3, GH4을 각각 동일한 타이밍에 리드아웃하여 제1 비닝할 수도 있다. 또는 이미지 센서(1100)는 몇몇 실시예에 따라 서브그룹 GH1, GH2, GH3, GH4 중 특수픽셀이 포함된 서브그룹을 다른 서브그룹과 다른 타이밍에 각각 리드아웃하여 제1 비닝할 수도 있다. 또는 이미지 센서(1100)는 몇몇 실시예에 따라 특수픽셀이 포함되지 않은 서브그룹은 적어도 하나의 서브그룹을 나머지 서브그룹과 다른 타이밍에 각각 리드아웃하여 제1 비닝할 수도 있다. 또는 이미지 센서(1100)는 몇몇 실시예에 따라 서브그룹 GH1, GH2, GH3, GH4을 각각 서로 다른 타이밍에 리드아웃하여 제1 비닝할 수도 있다.

즉, 단위 커널이 3x3 서브어레이인 경우 외에도 다양한 크기의 서브 어레이인 경우에도, 본 발명이 적용될 수 있다 할 것이다.

도 14 및 15는 도 1에 도시된 이미지 센서를 나타낸 도면이다. 도 14 및 도 15를 참고하면, 이미지 센서(1100)는 스택(stack)되는 복수의 레이어로 구현될 수 있다.

도 14를 참고하면, 몇몇 실시예에 따라 픽셀 어레이(110)는 제1 레이어(L1)에 구현되고, 제1 메모리(130)는 제2 레이어(L2)에 구현되고 로직 회로(120)는 제3 레이어(L3)에 구현될 수 있다. 또는 몇몇 실시예에 따라 픽셀 어레이(110)는 제1 레이어(L1)에 구현되고 로직 회로(120)는 제2 레이어(L2)에 구현되고 제1 메모리(130)는 제3 레이어(L3)에 구현될 수 있다. 즉, 픽셀 어레이(110), 로직 회로(120), 제1 메모리(130)는 각각 서로 다른 레이어에 형성되어 서로 적층될 수 있다.

도 15를 참고하면, 몇몇 실시예에 따라 픽셀 어레이(110)는 제1 레이어(L1)에 구현되고, 로직 회로(120)는 제2 레이어(L2)에 구현될 수 있다. 또는 몇몇 실시예에 따라 제2 레이어(L2)는 로직 회로(120) 뿐 아니라 제1 메모리(130)를 더 포함할 수도 있다.

도시하지는 않았으나 도 14 및 도 15의 레이어는 주변에 마련되는 복수의 패드 영역을 포함할 수 있다. 각 레이어들의 패드들은 비아 등을 통해 다른 레이어의 패드들에 연결될 수 있다. 몇몇 실시예에 따라 패드들은 입력 인터페이스 패드와 출력 인터페이스 패드가 구분되어 배치될 수도 있고, 또는 기능에 따라 구분되어 배치될 수도 있고 또는 인터페이스 패드가 입출력 구분없이 배치될 수도 있다.

도 16은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 17은 도 16의 카메라 모듈의 상세 블록도이다.

도 16을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.

카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.

이하, 도 17을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100c)에 대해서도 동일하게 적용될 수 있다.

도 17을 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.

프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.

몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.

몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.

몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.

OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.

액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.

이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.

메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.

도 16 및 도 17을 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.

몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.

몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.

다시 도 16을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.

이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.

이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.

각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.

각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.

구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.

이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.

몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.

몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.

애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.

PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.

PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

1000: 전자장치 1100 : 이미지 센서
1200 : 어플리케이션 프로세서 1300 : 디스플레이 모듈

Claims

복수의 컬러 픽셀 및 특수 픽셀을 포함하는 로우 이미지를 출력하는 픽셀 어레이;
상기 로우 이미지의 단위 커널마다 열(row) 방향 픽셀들에 대해 제1 비닝하여 출력하는 로직 회로; 및
제1 비닝된 이미지를 제2 비닝하여 출력하는 프로세서를 포함하고,
상기 특수 픽셀이 포함된 단위 커널의 경우, 상기 특수 픽셀이 속한 열은 상기 특수 픽셀이 속하지 않은 열과 다른 리드아웃 타이밍에 리드아웃되어 제1 비닝하고,
상기 제2 비닝은
상기 특수 픽셀이 속하지 않은 열 및 상기 특수 픽셀이 속한 열 각각의 제1 비닝된 이미지를 결합하는 것인, 전자 장치.
제1항에 있어서, 상기 단위 커널은
상기 픽셀 어레이에서 동일 컬러 픽셀에 대한 NxN 서브 어레이(상기 N은 2이상의 자연수)로서 제1 타입 열 및 제2 타입 열을 포함하고,
상기 제1 타입 열은 N개의 동일 컬러 픽셀을 포함하고, 제2타입 열은 적어도 하나의 상기 특수 픽셀을 포함하는, 전자 장치.
제2항에 있어서, 상기 로직 회로는
상기 NxN 서브 어레이에 연결되어, 각각의 열을 스위칭하는 적어도 하나의 스위치 회로;
상기 스위칭된 열에 대하여 상기 제1 비닝을 수행하는 적어도 하나의 ADC(Analog Digtal Conveter);
상기 ADC에 연결되어, 제1 비닝된 컬러 픽셀값 및 제1 비닝된 특수 픽셀값을 상기 제1 비닝된 이미지로 저장하는 버퍼 회로;
상기 제1 비닝된 이미지로 출력하는 래치회로를 포함하는, 전자 장치.
제3항에 있어서, 상기 ADC는
컬럼 선택 신호 및 상기 스위치 회로의 동작에 따라 상기 제1 타입 열에 대해 제1 리드아웃 타이밍에 제1 비닝을 수행하고, 상기 제2 타입 열에 대해 제2 리드아웃 타이밍에 제1 비닝을 수행하는, 전자 장치.
제3항에 있어서, 상기 ADC는
컬럼 선택 신호 및 상기 스위칭에 따라 각각의 열마다 서로 다른 리드아웃 타이밍에 제1 비닝을 수행하여,
상기 버퍼 회로에 상기 제1 비닝된 픽셀값을 저장하는, 전자 장치.
제1항에 있어서,
상기 단위 커널에 대해 열 방향으로 상기 제1 비닝된 이미지를 각각 저장하는 메모리를 더 포함하고,
상기 프로세서는
적어도 둘의 제1 비닝된 이미지를 행 방향으로 제2 비닝하여 제2 비닝된 이미지를 출력하는, 전자 장치.
제6항에 있어서, 상기 메모리는
상기 컬러 픽셀에 대한 적어도 둘의 제1 비닝된 컬러 픽셀값 및 상기 특수 픽셀에 대한 제1 비닝된 특수 픽셀값을 상기 제1 비닝된 이미지로 저장하고,
상기 제1 비닝된 특수 픽셀값은 상기 적어도 둘의 제1 비닝된 컬러 픽셀값의 테일(tail)로 저장되는 것인, 전자 장치.
제7항에 있어서, 상기 제2 비닝은
상기 특수 픽셀이 속한 열은 인접한 컬러 픽셀에 기초한 컬러 픽셀값으로 보정하고,
상기 보정된 컬러 픽셀값 및 적어도 하나의 상기 제1 비닝된 컬러 픽셀값을 행 방향으로 제2 비닝하고,
제2 비닝된 컬러 픽셀값 및 상기 제1 비닝된 특수 픽셀값을 포함하는 상기 제2 비닝된 이미지를 출력하는 것인, 전자 장치.
이미지 센서 및 어플리케이션 프로세서를 포함하는 전자 장치에 있어서,
상기 이미지 센서는
복수개의 단위 커널이 베이어 패턴으로 배치되고, 로우 이미지를 생성하는 픽셀 어레이; 및
상기 픽셀 어레이에 액세스하여 상기 로우 이미지를 열 방향으로 제1 비닝하여 출력하는 로직 회로;를 포함하고,
상기 단위 커널은 복수 개의 동일 컬러 픽셀을 포함하는 NxN 서브 어레이이고(N은 2이상의 자연수),
적어도 하나의 상기 단위 커널은 적어도 하나의 열에 특수 픽셀을 포함하고,
상기 어플리케이션 프로세서는
상기 단위 커널 단위로 제1 비닝된 컬러 픽셀값 및 제1 비닝된 특수 픽셀값을 저장하는 메모리; 및
상기 제1 비닝된 컬러 픽셀값들을 제2 비닝하여 출력하는 프로세서를 포함하는, 전자 장치.
제9항에 있어서, 상기 메모리는
상기 픽셀 어레이에 속한 하나의 단위 커널 열에 대해, 상기 제1 비닝된 컬러 픽셀값을 연속적으로 저장하고, 상기 제1 비닝된 특수 픽셀값을 테일로 저장하는, 전자 장치.
제10항에 있어서, 상기 프로세서는
상기 특수 픽셀이 속한 열에 대해, 인접한 컬러 픽셀에 기초하여 제1 비닝된 보정 컬러 픽셀값을 생성하고,
상기 단위 커널 내 상기 제1 비닝된 컬러 픽셀값들 및 상기 제1 비닝된 보정 컬러 픽셀값을 행 방향으로 제2 비닝하고,
제2 비닝된 컬러 픽셀 및 상기 제1 비닝된 특수 픽셀값을 포함한 제2 비닝 이미지를 출력하는 것인, 전자 장치.
제9항에 있어서, 상기 로직 회로는
상기 NxN 서브 어레이에 연결되어, 각각의 열을 스위칭하는 적어도 하나의 스위치 회로;
상기 스위칭된 열에 대하여 상기 제1 비닝을 수행하는 적어도 하나의 ADC(Analog Digtal Conveter);
상기 ADC에 연결되어, 각 열마다 제1 비닝된 픽셀값을 저장하는 버퍼 회로; 및
상기 제1 비닝된 픽셀값을 출력하는 래치회로를 포함하는, 전자 장치.
제12항에 있어서, 상기 스위치 회로는
상기 NxN 서브 어레이의 열마다 서로 다른 타이밍에 리드아웃되도록 스위칭하는, 전자 장치.
제12항에 있어서, 상기 스위치 회로는
상기 NxN 서브 어레이 중 적어도 두 개의 제1 열은 동시에 턴온하고, 적어도 하나의 제2 열은 상기 제1 열과 다른 타이밍에 리드아웃되도록 턴온되도록 스위칭하는, 전자 장치.
제14항에 있어서, 상기 제2 열은 상기 특수 픽셀을 포함하는, 전자 장치.
제9항에 있어서, 상기 픽셀 어레이에 포함된 픽셀들 중 적어도 둘은
상면에 배치된 하나의 마이크로렌즈를 공유하는, 전자 장치.
복수개의 단위 커널이 베이어 패턴으로 배치되는 픽셀 어레이를 포함하여, 로우(Raw) 이미지를 생성하고, 상기 로우 이미지에서 리드아웃 타이밍에 턴온되는 열(row)에 속한 로우 픽셀값들을 제1 비닝하여 출력하는 이미지 센서; 및
제1 비닝된 픽셀값을 행 방향으로 제2 비닝하여 출력하는 프로세서를 포함하고,
상기 단위 커널 각각은 픽셀 어레이에 복수개 포함되는 NxN 서브 어레이이고(N은 2이상의 자연수),
상기 단위 커널 내 적어도 하나의 제1 열의 리드아웃 타이밍은 나머지 제2 열에 대한 제2 리드아웃 타이밍과 다른 것인, 전자 장치의 이미지 비닝 방법.
제17항에 있어서, 상기 복수의 단위 커널 중 적어도 하나의 단위 커널은
복수의 동일 컬러 픽셀 및 적어도 하나의 특수 픽셀을 포함하는 것인, 전자 장치의 이미지 비닝 방법.
제18항에 있어서, 상기 제1 열은 상기 적어도 하나의 특수 픽셀을 포함하고, 상기 제2 열은 상기 동일 컬러 픽셀을 포함하는, 전자 장치의 이미지 비닝 방법.
제18항에 있어서, 상기 프로세서는
상기 특수 픽셀이 속한 열에 대해 상기 특수 픽셀에 인접한 컬러 픽셀에 기초하여 대체 컬러 픽셀값을 생성하고,
상기 특수 픽셀이 속하지 않은 열에서의 상기 제1 비닝된 픽셀값과 상기 대체 컬러 픽셀값을 기초로 상기 제2 비닝을 수행하여 제2 비닝 컬러 픽셀값을 생성하고,
상기 제2 비닝 컬러 픽셀값 또는 제1 비닝된 특수 픽셀값에 기초하여 제2 비닝된 이미지를 생성하는 것인, 전자 장치의 이미지 비닝 방법.