KR20230082544A - 넓은 동적 범위 이미지 센서 및 그것에 의해서 수행되는 방법 - Google Patents

Abstract

이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이, 픽셀 어레이를 구동하도록 구성된 드라이버, 픽셀 어레이로부터 수신된 픽셀 신호로부터 디지털 신호를 생성하도록 구성된 독출 회로, 복수의 픽셀들 중 제1 픽셀 그룹 및 제2 픽셀 그룹이 제1 노출 시간 및 제2 노출 시간을 각각 가지도록, 드라이버를 제어하도록 구성된 컨트롤러, 및 제1 픽셀 그룹에 대응하는 디지털 신호의 제1 값 및 제2 픽셀 그룹에 대응하는 디지털 신호의 제2 값을 연산함으로써 이미지 데이터를 생성하도록 구성된 신호 프로세서를 포함할 수 있다.

Description

넓은 동적 범위 이미지 센서 및 그것에 의해서 수행되는 방법{WIDE DYNAMIC RANGE IMAGE SENSOR AND METOD PERFORMED BY THE SAME}

본 개시의 기술적 사상은 이미지 센서에 관한 것으로서 자세하게는 넓은 동적 범위 이미지 센서 및 그것에 의해서 수행되는 방법에 관한 것이다.

이미지 센서(image sensor)는 피사체의 2차원적 또는 3차원적 이미지를 캡처하는 장치를 지칭할 수 있다. 이미지 센서는 피사체로부터 반사되는 빛의 세기에 따라 반응하는 광전 변환 소자를 이용하여 피사체의 이미지를 생성할 수 있다. 이미지 센서는, 고품질 이미지를 위하여 넓은 동적 범위(dynamic range) 및 양호한 노이즈 특성을 가질 것이 요구될 수 있다.

본 개시의 기술적 사상은, 넓은 동적 범위 및 양호한 노이즈 특성을 모두 가지는 이미지 센서 및 그것에 의해서 수행되는 방법을 제공한다.

본 개시의 기술적 사상의 일측면에 따른 이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이, 픽셀 어레이를 구동하도록 구성된 드라이버, 픽셀 어레이로부터 수신된 픽셀 신호로부터 디지털 신호를 생성하도록 구성된 독출 회로, 복수의 픽셀들 중 제1 픽셀 그룹 및 제2 픽셀 그룹이 제1 노출 시간 및 제2 노출 시간을 각각 가지도록, 드라이버를 제어하도록 구성된 컨트롤러, 및 제1 픽셀 그룹에 대응하는 디지털 신호의 제1 값 및 제2 픽셀 그룹에 대응하는 디지털 신호의 제2 값을 연산함으로써 이미지 데이터를 생성하도록 구성된 신호 프로세서를 포함할 수 있고, 제1 픽셀 그룹은, 조도에 독립적일 수 있다.

본 개시의 기술적 사상의 일측면에 따른 이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이, 픽셀 어레이를 구동하도록 구성된 드라이버, 픽셀 어레이로부터 수신된 픽셀 신호로부터 디지털 신호를 생성하도록 구성된 독출 회로, 복수의 픽셀들 중 제1 픽셀 그룹 및 제2 픽셀 그룹이 제1 노출 시간 및 제2 노출 시간을 각각 가지도록, 드라이버를 제어하도록 구성된 컨트롤러, 및 디지털 신호의 값에 기초하여 조도를 식별하고, 조도에 기초하여 제2 픽셀 그룹 및 제2 노출 시간을 식별하고, 제2 노출 시간에 기초하여 컨트롤러를 설정하도록 구성된 신호 프로세서를 포함할 수 있고, 제1 노출 시간은, 조도에 독립적일 수 있다.

본 개시의 기술적 사상의 일측면에 따라 이미지 센서에 의해서 수행되는 방법은, 복수의 픽셀들을 포함하는 픽셀 어레이로부터 수신된 픽셀 신호로부터 디지털 신호를 생성하는 단계, 제1 노출 시간 및 제2 노출 시간을 각각 가지도록, 복수의 픽셀들 중 제1 픽셀 그룹 및 제2 픽셀 그룹을 구동하는 단계, 및 제1 픽셀 그룹에 대응하는 디지털 신호의 제1 값 및 제2 픽셀 그룹에 대응하는 디지털 신호의 제2 값의 가중합에 기초하여 이미지 데이터를 생성하는 단계를 포함할 수 있고, 제1 픽셀 그룹은, 조도에 독립적일 수 있다.

본 개시의 예시적 실시예에 따른 이미지 센서 및 그것에 의해서 수행되는 방법에 의하면, 넓은 동적 범위 및 양호한 노이즈 특성이 모두 달성될 수 있고, 이에 따라 이미지 센서는 다양한 어플리케이션들에서 효과적으로 사용될 수 있다.

또한, 본 개시의 예시적 실시예에 따른 이미지 센서 및 그것에 의해서 수행되는 방법에 의하면, 이미지 센서에 의해서 생성되는 이미지의 품질이 향상될 수 있고, 이에 따라 이미지 센서를 포함하는 어플리케이션의 성능이 향상될 수 있다.

본 개시의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 개시의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 개시의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.

도 1은 본 개시의 예시적 실시예에 따른 이미지 센서를 나타내는 블록도이다.
도 2a 및 도 2b는 본 개시의 예시적 실시예들에 따른 픽셀의 예시들을 나타내는 회로도들이다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 센서의 SNR-HDR 그래프를 나타낸다.
도 4는 본 개시의 예시적 실시예에 따라 이미지 센서에 의해서 수행되는 방법을 나타내는 순서도이다.
도 5a 내지 도 5e는 본 개시의 예시적 실시예들에 따른 픽셀 어레이의 예시들을 나타낸다.
도 6a 및 도 6b는 본 개시의 예시적 실시예들에 따른 이미지 센서의 동작의 예시들을 나타내는 도면이다.
도 7a 및 도 7b는 본 개시의 예시적 실시예들에 따른 이미지 센서의 SNR-HDR 그래프들을 나타낸다.
도 8a 및 도 8b는 본 개시의 예시적 실시예들에 따른 이미지 센서의 SNR-HDR 그래프들을 나타낸다.
도 9는 본 개시의 예시적 실시예에 따라 이미지 센서에 의해서 수행되는 방법을 나타내는 순서도이다.
도 10a 및 도 10b는 본 개시의 예시적 실시예들에 따라 이미지 센서에 의해서 수행되는 방법의 예시들을 나타내는 순서도들이다.
도 11a 및 도 11b는 본 개시의 예시적 실시예들에 따른 이미지 센서의 SNR-HDR 그래프들을 나타낸다.
도 12는 본 개시의 예시적 실시예에 따라 이미지 센서에 의해서 수행되는 방법을 나타내는 순서도이다.
도 13a는 본 개시의 예시적 실시예에 따른 이미지 센서의 분리 사시도이고, 도 13b는 본 개시의 예시적 실시예에 따른 이미지 센서의 평면도이고, 도 13c는 본 개시의 예시적 실시예에 따른 이미지 센서의 분리 사시도이다.
도 14는 본 개시의 예시적 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치를 나타내는 블록도이다.
도 15는 본 개시의 예시적 실시예에 따른 도 14의 카메라 모듈을 나타내는 블록도이다.

도 1은 본 개시의 예시적 실시예에 따른 이미지 센서(10)를 나타내는 블록도이다. 도 1에 도시된 바와 같이, 이미지 센서(10)는, 픽셀 어레이(11), 드라이버(12), 독출 회로(13), 컨트롤러(14) 및 신호 프로세서(15)를 포함할 수 있다.

이미지 센서(100)는 이미지 또는 광 감지 기능을 가지는 시스템에 포함될 수 있다. 예를 들면, 이미지 센서(100)는 카메라, 스마트폰, 웨어러블 기기, IoT(internet of things), 태블릿 PC, 드론, ADAS(advanced drivers assistance system) 등과 같은 전자 기기에 포함될 수 있다. 또한, 이미지 센서(10)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 포함되는 부품에 포함될 수도 있다.

픽셀 어레이(11)는 복수의 픽셀들을 포함할 수 있고, 복수의 픽셀 들은 복수의 구동 라인들(DLs) 및 복수의 감지 라인들(SLs)에 연결될 수 있다. 일부 실시예들에서, 이미지 센서(10)는 APS(active pixel sensor)일 수 있고, 픽셀 어레이(11)의 복수의 픽셀들 각각은 적어도 하나의 광전 변환 소자 및 적어도 하나의 트랜지스터를 포함할 수 있다. 광전 변환 소자는 빛을 감지할 수 있고, 빛에 대응하는 전기적 신호를 생성할 수 있다. 광전 변환 소자는, 비제한적인 예시로서, 무기 포토(photo) 다이오드, 유기 포토 다이오드, 페로브스카이트(perovskite) 포토 다이오드, 포토 트랜지스터, 포토 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등과 같이, 유기 물질 또는 무기 물질로 구성되는 광 감지 소자를 포함할 수 있다. 일부 실시예들에서, 도 2a 및 도 2b를 참조하여 후술되는 바와 같이, 픽셀은 2이상의 변환 이득들을 제공할 수 있다. 일부 실시예들에서, 도 2b를 참조하여 후술되는 바와 같이, 픽셀은 2개 이상의 광전 변환 소자들을 포함할 수 있다.

복수의 픽셀들 각각 상에서 또는 상호 인접한 2이상의 픽셀들 상에서 마이크로 렌즈가 배치될 수 있다. 픽셀은 마이크로 렌즈를 통해서 수신되는 빛으로부터 특징 스펙트럼 영역의 빛을 감지할 수 있다. 예를 들면, 픽셀 어레이(11)는, 적색 스펙트럼 영역의 빛을 전기 신호로 변환하는 레드 픽셀, 녹색 스펙트럼 영역의 빛을 전기 신호로 변환하는 그린 픽셀 및 청색 스펙트럼 영역의 빛을 전기 신호로 변환하는 블루 픽셀을 포함할 수 있다. 복수의 픽셀들 상에서 컬러 필터 어레이가 배치될 수 있고, 픽셀 상에 배치된 컬러 필터에 따라 픽셀이 감지할 수 있는 색상이 결정될 수 있다. 레드 픽셀, 그린 픽셀 및 블루 픽셀 각각에서 생성된 픽셀 신호들을 조합함으로써 이미지에서 하나의 픽셀이 형성될 수 있고, 본 명세서에서 레드 픽셀, 그린 픽셀 및 블루 픽셀 각각은 서브-픽셀로 지칭될 수 있다.

일부 실시예들에서, 픽셀은 멀티-레이어 구조를 가질 수 있다. 멀티-레이어 구조의 픽셀은 적층된 광전 변환 소자들을 포함할 수 있고, 적층된 광전 변화 소자들은 상이한 스펙트럼 영역들을 전기 신호로 각각 변환할 수 있다. 이에 따라, 하나의 픽셀로부터 상이한 색상들에 각각 대응하는 전기 신호들이 출력될 수 있다. 또한, 일부 실시예들에서, 픽셀은 인가되는 전기 신호에 따라 특정 스펙트럼 영역의 빛을 전기적 신호로 변환하는 광전 변환 소자를 포함할 수도 있다.

드라이버(12)는 컨트롤러(14)로부터 제공되는 제1 제어 신호(CTR1)에 기초하여 픽셀 어레이(11)를 구동할 수 있다. 예를 들면, 드라이버(12)는 제1 제어 신호(CTR1)에 기초하여 구동 신호를 생성할 수 있고, 복수의 구동 라인들(DLs)을 통해서 구동 신호를 출력할 수 있다. 일부 실시예들에서, 드라이버(12)는 픽셀 어레이(11)의 행 단위로 복수의 픽셀들을 구동할 수 있고, 로우(row) 드라이버로 지칭될 수 있다. 예를 들면, 드라이버(12)는, 제1 제어 신호(CTR1)에 기초하여 행을 선택할 수 있고, 선택된 행으로부터 복수의 감지 라인들(SLs)을 통해서 픽셀 신호들을 출력하도록 행에 포함된 픽셀들을 구동할 수 있다.

독출 회로(13)는 복수의 감지 라인들(SLs)을 통해서 픽셀 어레이(11)로부터 픽셀 신호들을 수신할 수 있다. 독출 회로(13)는 컨트롤러(14)로부터 제공되는 제2 제어 신호(CTR2)에 기초하여 픽셀 신호를 디지털 신호(DSIG)로 변환할 수 있다. 일부 실시예들에서, 독출 회로(13)는 일정한 기울기로 증가하거나 감소하는 램프 신호를 생성하는 램프 생성기를 포함할 수 있고, 램프 신호에 기초하여 픽셀 신호를 디지털 신호(DSIG)로 변환하는 아날로그-디지털 컨버터(analog-to-digital converter; ADC)를 포함할 수 있다. 예를 들면, 독출 회로(13)는, 복수의 감지 라인들(SLs)에 각각 대응하고 램프 신호를 공통으로 수신하는, 복수의 아날로그-디지털 컨버터들을 포함할 수 있다. 또한, 일부 실시예들에서, 독출 회로(13)는 상관 이중 샘플링(correlation double sampling)에 기초하여 디지털 신호(DSIG)를 생성할 수 있다.

컨트롤러(14)는 제1 제어 신호(CTR1)를 통해서 드라이버(12)를 제어할 수 있고, 제2 제어 신호(CTR2)를 통해서 독출 회로(13)를 제어할 수 있다. 컨트롤러(14)는 신호 프로세서(15)의 설정에 기초하여 제1 제어 신호(CTR1) 및 제2 제어 신호(CTR2)를 생성할 수 있다. 예를 들면, 도 1에 도시된 바와 같이, 컨트롤러(14)는 신호 프로세서(15)로부터 설정 신호(SET)를 수신할 수 있고, 설정 신호(SET)에 대응하는 설정에 기초하여 제1 제어 신호(CTR1) 및 제2 제어 신호(CTR2)를 생성할 수 있다. 일부 실시예들에서, 컨트롤러(14)는 설정 신호(SET)에 기초하여 픽셀 어레이(11)의 복수의 픽셀들 중 적어도 일부를 포함하는 픽셀 그룹 및 노출 시간(exposure integration time; EIT)을 식별할 수 있다. 컨트롤러(14)는 식별된 픽셀 그룹 및 노출 시간에 기초하여 제1 제어 신호(CTR1)를 생성할 수 있고, 드라이버(12)는 제1 제어 신호(CTR1)에 기초하여, 식별된 픽셀 그룹이 식별된 노출 시간을 가지도록, 복수의 구동 라인들(DLs)을 통해서 구동 신호를 출력할 수 있다. 드라이버(12) 및 독출 회로(13)의 동작들은 제1 제어 신호(CTR1) 및 제2 제어 신호(CTR2)의 타이밍에 따라 전환될 수 있고, 이에 따라 컨트롤러(14)는 타이밍 컨트롤러로 지칭될 수 있다.

신호 프로세서(15)는 독출 회로(13)로부터 디지털 신호(DSIG)를 수신할 수 있고, 피사체의 이미지를 나타내는 이미지 데이터(IMG)를 생성할 수 있다. 일부 실시예들에서, 신호 프로세서(15)는 다양한 보상 동작들을 수행할 수 있다. 예를 들면, 신호 프로세서(15)는, 노이즈 저감, 이득 조정, 파형 정형화, 보간, 화이트밸런스 조정, 감마 처리, 에지 강조, 비닝(binning) 등을 수행할 수 있다.

일부 실시예들에서, 신호 프로세서(15)는 디지털 신호(DSIG)에 기초하여 이미지의 조도를 식별할 수 있다. 신호 프로세서(15)는, 식별된 조도에 기초하여 픽셀 어레이(11)를 2이상의 영역으로 분할할 수 있다. 예를 들면, 신호 프로세서(15)는, 식별된 조도를 미리 정의된 적어도 하나의 기준치와 비교할 수 있고, 기준치 미만의 조도를 가지는 적어도 하나의 저조도 영역 및 기준치 이상의 조도를 가지는 적어도 하나의 고조도 영역으로 픽셀 어레이(11)를 분할할 수 있다. 이하에서, 픽셀 어레이(11)가 적어도 하나의 저조도 영역 및 적어도 하나의 고조도 영역을 포함하는 예시들이 설명될 것이나, 본 개시의 예시적 실시예들이 이에 제한되지 아니하는 점에 유의된다. 예를 들면, 픽셀 어레이(11)는 3개 이상의 조도 범위들에 각각 대응하는 영역들을 포함할 수 있다.

일부 실시예들에서, 신호 프로세서(15)는 디지털 신호(DSIG)에 기초하여 이미지의 조도를 식별할 수 있다. 신호 프로세서(15)는, 식별된 조도에 기초하여 픽셀 어레이(11)의 복수의 픽셀들 중 적어도 하나의 픽셀을 포함하는 픽셀 그룹을 식별할 수 있다. 도 5a 내지 도 5e 등을 참조하여 후술되는 바와 같이, 신호 프로세서(15)는, 저조도 영역에 포함되는 픽셀 그룹이 상대적으로 긴 노출 시간을 가지고 고조도 영역에 포함되는 픽셀 그룹이 상대적으로 짧은 노출 시간을 가지도록, 컨트롤러(14)를 설정할 수 있다. 설정 신호(SET)는 픽셀 그룹 및 노출 시간에 대한 정보를 포함할 수 있고, 컨트롤러(14)는 설정 신호(SET)에 포함된 정보에 기초하여 픽셀 그룹이 구동되도록 제1 제어 신호(CTR1)를 통해서 드라이버(12)를 제어할 수 있다.

일부 실시예들에서, 신호 프로세서(15)는 픽셀 그룹이 조도에 독립적인 위치 및 노출 시간을 가지도록, 컨트롤러(14)를 설정할 수 있다. 본 명세서에서, 조도에 독립적인 위치 및 노출 시간을 가지는 픽셀 그룹은 레퍼런스 픽셀 그룹 또는 레퍼런스 그룹으로 지칭될 수 있고, 레퍼런스 픽셀 그룹에 포함된 픽셀은 레퍼런스 픽셀로 지칭될 수 있다. 또한, 조도에 의존하는 위치 및 노출 시간을 가지는 픽셀 그룹은 어댑티브 픽셀 그룹 또는 어댑티브 그룹으로 지칭될 수 있고, 어댑티브 픽셀 그룹에 포함된 픽셀은 어댑티브 픽셀로 지칭될 수 있다.

신호 프로세서(15)는 상이한 노출 시간들을 가지는 픽셀 그룹들에 각각 대응하는 디지털 신호(DSIG)의 값들을 연산함으로써 이미지 데이터(IMG)를 생성할 수 있다. 이에 따라, 이미지 데이터(IMG)는 양호한 품질을 가질 수 있고, 이미지 센서(10)의 성능이 개선될 수 있다. 또한, 양호한 품질의 이미지 데이터(IMG)에 기인하여 이미지 센서(10)를 포함하는 어플리케이션의 성능이 향상될 수 있다. 예를 들면, 이미지 센서(10)는 높은 저조도 SNR(signal-to-noise ratio), 확장된 HDR(high dynamic range) 및 고온에서 개선된 SNR 딥(dip)을 가질 수 있고, 이에 따라 열악한 사용 환경을 지원하는 것이 요구되는 자동차(automotive) 어플리케이션에 효과적으로 사용될 수 있다.

신호 프로세서(15)는 전술된 동작을 수행하는 임의의 구조를 가질 수 있다. 예를 들면, 신호 프로세서(15)는, 프로세싱 코어(processing core)와 같이 프로그램가능한(programmable) 컴포넌트, FPGA(field programmable gate array)와 같이 재구성가능한(reconfigurable) 컴포넌트 및 IP(intellectual property) 코어와 같이 고정된 기능을 제공하는 컴포넌트 중 적어도 하나를 포함할 수 있다.

도 2a 및 도 2b는 본 개시의 예시적 실시예들에 따른 픽셀의 예시들을 나타내는 회로도들이다. 일부 실시예들에서, 도 2a 및 도 2b의 픽셀들(20a, 20b) 각각은 도 1의 픽셀 어레이(11)에 포함될 수 있다. 도 1의 픽셀 어레이(11)에 포함되는 픽셀이 도 2a 및 도 2b의 픽셀들(20a, 20b)에 제한되지 아니하는 점이 유의된다. 이하에서, 도 2a 및 도 2b에 대한 설명 중 상호 중복되는 내용은 생략될 것이다.

도 2a를 참조하면, 픽셀(20a)은 포토 다이오드(PD), 제1 캐패시터(C1), 제2 캐패시터(C2) 및 복수의 트랜지스터들을 포함할 수 있다. 복수의 트랜지스터들은, 전송 트랜지스터(TG), 리셋 트랜지스터(RG), 이득 제어 트랜지스터(CG), 구동 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 일부 실시예들에서, 제1 캐패시터(C1)는 플로팅 디퓨전 노드(FD)의 기생(parasitic) 캐패시터에 대응할 수 있다. 일부 실시예들에서, 제2 캐패시터(C2)는 고정되거나 가변되는 캐패시턴스를 가지도록 구조화된 수동 소자일 수 있다. 일부 실시예들에서, 제2 캐패시터(C2)는 리셋 트랜지스터(RG)의 소스 및 이득 제어 트랜지스터(CG)의 드레인에 연결된 노드의 기생 캐패시터에 대응할 수도 있다.

포토 다이오드(PD)는 광전 변환 소자로서 외부에서 입사되는 빛을 전기 신호로 변환할 수 있다. 포토 다이오드(PD)는 빛의 세기(intensity)에 따라 전하를 축적할 수 있다. 픽셀(20a)은 도 1의 드라이버(12)로부터 제공되는 구동 신호들, 즉 리셋 신호(RS), 이득 신호(GS), 전송 신호(TS) 및 선택 신호(SEL)를 각각 수신할 수 있다.

리셋 트랜지스터(RG)는 활성화된 리셋 신호(RS)에 응답하여 턴-온될 수 있고, 이득 제어 트랜지스터(CG)는 활성화된 이득 신호(GS)에 응답하여 턴-온될 수 있다. 이에 따라, 플로팅 디퓨전 노드(FD)에 리셋 전압(VRD)이 인가될 수 있고, 플로팅 디퓨전 노드(FD)가 리셋될 수 있다. 전송 트랜지스터(TG)는 활성화된 전송 신호(TS)에 응답하여 턴-온될 수 있고, 이에 따라 포토 다이오드(PD) 역시 리셋될 수 있다.

전송 트랜지스터(TG)는 비활성화된 전송 신호(TS)에 응답하여 턴-오프될 수 있고, 전송 트랜지스터(TG)가 턴-오프되는 동안, 즉 노출 시간 동안 포토 다이오드(PD)는 입사되는 빛에 따라 전하를 축적할 수 있다. 전송 트랜지스터(TG)가 활성화된 전송 신호(TS)에 응답하여 턴-온되는 경우, 포토 다이오드(PD)에서 축적된 전하가 플로팅 디퓨전 노드(FD)에 전달될 수 있다. 이득 신호(GS)가 비활성화된 경우 전하는 제1 캐패시터(C1)에 축적될 수 있는 한편, 이득 신호(GS)가 활성화된 경우 전하는 제1 캐패시터(C1) 및 제2 캐패시터(C2)에 축적될 수 있다.

플로팅 디퓨전 노드(FD)의 전압은 포토 다이오드(PD)에 축적된 전하에 의존할 수 있고, 포토 다이오드(PD)에 축적된 전하 및 변환 이득(conversion gain)의 곱으로 표현될 수 있다. 전술된 바와 같이, 동일한 전하량에 대응하는 플로팅 디퓨전 노드(FD)의 전압은, 이득 신호(GS)의 활성화 여부에 따라 상이할 수 있고, 변환 이득이 이득 신호(GS)에 따라 변동할 수 있다. 즉, 이득 신호(GS)가 비활성화된 경우 픽셀(20a)은 높은 변환 이득(high conversion gain; HCG)을 가질 수 있는 한편, 이득 신호(GS)가 활성화된 경우 픽셀(20a)은 상대적으로 낮은 변환 이득(low conversion gain; LCG)을 가질 수 있다. 이와 같이, 2개의 상이한 변환 이득들을 제공하는 픽셀(20a)은 이중 변환 이득(dual conversion gain; DCG) 픽셀로 지칭될 수 있다. 본 명세서에서, 이득 신호(GS)가 비활성화된 상태는 HCG 모드로 지칭될 수 있고, 이득 신호(GS)가 활성화된 상태는 LCG 모드로 지칭될 수 있다. 도 3을 참조하여 후술되는 바와 같이, DCG 픽셀은 이미지 센서(10)의 동적 범위를 확장할 수 있다.

구동 트랜지스터(DX)는 픽셀 전압(VPIX) 및 감지 라인(SL)에 연결된 전류원(CS)에 의해서 소스 팔로워로서 기능할 수 있고, 플로팅 디퓨전 노드(FD)의 전압을 선택 트랜지스터(SX)에 전달할 수 있다. 일부 실시예들에서, 전류원(CS)은 감지 라인(SL)에 연결된 픽셀들에 의해서 공유될 수 있고, 도 1의 독출 회로(13)에 포함될 수 있다. 선택 트랜지스터(SX)는 활성화된 선택 신호(SEL)에 응답하여 구동 트랜지스터(DX)의 출력 전압을 감지 라인(SL)에 제공할 수 있다. 감지 라인(SL)의 전압은 픽셀 신호로서 도 1의 독출 회로(13)에 제공될 수 있고, 독출 회로(13)는 감지 라인(SL)의 전압에 대응하는 디지털 신호(DSIG)를 생성할 수 있다.

도 2b를 참조하면, 픽셀(20b)은 라지 포토 다이오드(LPD), 스몰 포토 다이오드(SPD), 캐패시터(SC) 및 복수의 트랜지스터들을 포함할 수 있다. 복수의 트랜지스터들은, 제1 전송 트랜지스터(TG1), 제2 전송 트랜지스터(TG2), 스위치 트랜지스터(SG), 리셋 트랜지스터(RG), 이득 제어 트랜지스터(CG), 구동 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 제1 내지 제3 플로팅 디퓨전 노드(FD1 내지 FD3) 각각은 기생 캐패시턴스를 가질 수 있다. 일부 실시예들에서, 픽셀(20b)은 제1 내지 제3 플로팅 디퓨전 노드(FD1 내지 FD3)에 각각 연결된 수동 소자들로서 캐패시터들을 더 포함할 수도 있다.

라지 포토 다이오드(LPD) 및 스몰 포토 다이오드(SPD)는 입사되는 빛에 따라 전하를 축적할 수 있다. 라지 포토 다이오드(LPD)는 스몰 포토 다이오드(SPD)보다 큰 크기를 가질 수 있고, 라지 포토 다이오드(LPD)는 저조도 피사체에 적합할 수 있는 한편, 스몰 포토 다이오드(SPD)는 고조도 피사체에 적합할 수 있다. 픽셀(20b)과 같이, 상이한 크기의 포토 다이오드들을 포함하는 픽셀 구조는 스플릿 포토 다이오드(split PD)로 지칭될 수 있고, 특히 스몰 포토 다이오드(SPD)가 라지 포토 다이오드(LPD)의 일 코너에 배치되는 구조는 코너 픽셀(corner pixel)로 지칭될 수 있다.

픽셀(20b)은 도 1의 드라이버(12)로부터 제공되는 구동 신호들, 즉 리셋 신호(RS), 이득 신호(GS), 제1 전송 신호(TS1), 제2 전송 신호(TS2), 스위치 신호(SS) 및 선택 신호(SEL)를 각각 수신할 수 있다. 픽셀(20b)은 라지 포토 다이오드(LPD)의 HCG 모드 및 LCG 모드를 지원할 수 있고, 스몰 포토 다이오드(SPD)의 HCG 모드 및 LCG 모드를 지원할 수 있다. 이에 따라, 픽셀(20b)은 도 2a의 픽셀(20a)보다 넓은 동적 범위를 제공할 수 있다.

리셋 트랜지스터(RG)는 활성화된 리셋 신호(RS)에 응답하여 턴-온될 수 있고, 이에 따라 제2 플로팅 디퓨전 노드(FD2)가 리셋될 수 있다. 이득 제어 트랜지스터(CG)는 활성화된 이득 신호(GS)에 응답하여 턴-온될 수 있고, 이에 따라 제1 플로팅 디퓨전 노드(FD1)가 리셋될 수 있다. 또한, 스위치 트랜지스터(SG)는 활성화된 스위치 신호(SS)에 응답하여 턴-온될 수 있고, 이에 따라 제3 플로팅 디퓨전 노드(FD3)가 리셋될 수 있다.

라지 포토 다이오드(LPD)의 HCG 모드에서, 이득 신호(GS)는 비활성화될 수 있고, 이에 따라 이득 제어 트랜지스터(CG)가 턴-오프될 수 있다. 활성화된 제1 전송 신호(TS1)에 응답하여 제1 전송 트랜지스터(TG1)가 턴-온되는 경우, 라지 포토 다이오드(LPD)에 축적된 전하는 제1 플로팅 디퓨전 노드(FD1)에 전달될 수 있다. 라지 포토 다이오드(LPD)의 LCG 모드에서, 이득 신호(GS)는 활성화될 수 있고, 이에 따라 이득 제어 트랜지스터(CG)가 턴-온될 수 있다. 활성화된 제1 전송 신호(TS1)에 응답하여 제1 전송 트랜지스터(TG1)가 턴-온되는 경우, 라지 포토 다이오드(LPD)에 축적된 전하는 제1 플로팅 디퓨전 노드(FD1) 및 제2 플로팅 디퓨전 노드(FD2)에 전달될 수 있다.

스몰 포토 다이오드(SPD)의 HCG 모드에서, 스위치 신호(SW)는 비활성화될 수 있고, 이에 따라 스위치 트랜지스터(SG)가 턴-오프될 수 있다. 활성화된 제2 전송 신호(TS2)에 응답하여 제2 전송 트랜지스터(TG)가 턴-온되는 경우, 스몰 포토 다이오드(SPD)에 축적된 전하는 캐패시터(SC)가 연결된 제3 플로팅 디퓨전 노드(FD3)에 전달될 수 있다. 도 2b에 도시된 바와 같이, 캐패시터(SC)는 전압(VMIN)이 인가되는 노드 및 제3 플로팅 디퓨전 노드(FD3) 사이에 연결될 수 있다. 스몰 포토 다이오드(SPD)의 LCG 모드에서, 스위치 신호(SW)는 활성화될 수 있고, 이에 따라 스위치 트랜지스터(SG)가 턴-온될 수 있다. 활성화된 제2 전송 신호(TS2)에 응답하여 제2 전송 트랜지스터(TG)가 턴-온되는 경우, 스몰 포토 다이오드(SPD)에 축적된 전하는 제3 플로팅 디퓨전 노드(FD3) 및 제2 플로팅 디퓨전 노드(FD2)에 전달될 수 있다.

도 3은 본 개시의 예시적 실시예에 따른 이미지 센서(10)의 SNR-HDR 그래프를 나타낸다. 도 3의 그래프에서 가로축은 이미지 센서(10)에 입사되는 빛의 세기, 즉 밝기를 나타내고, 세로축은 신호대-잡음비(SNR)를 나타낸다. 이하에서, 도 3은 도 1을 참조하여 설명될 것이다.

일부 실시예들에서, 도 3의 그래프에서 곡선(30)은, 도 2b의 픽셀(20b)과 같이, 상이한 크기의 포토 다이오드들을 포함하고 이중 변환 이득(DCG)을 지원하는 픽셀들을 포함하는 이미지 센서(10)의 특성을 나타낸다. 이에 따라, 이미지 센서(10)는 넓은 동적 범위, 즉 HDR(high dynamic range)를 제공할 수 있다. 예를 들면, 도 3에 도시된 바와 같이, HDR은 곡선(30)이 영(zero)보다 높은 SNR을 가지는 구간으로 정의될 수 있고, 조도에 따라 LH 구간, LL 구간, SH 구간 및 SL 구간을 포함할 수 있다. LH 구간에서 픽셀은 HCG 모드에서 LPD에 축적된 전하에 대응하는 픽셀 신호를 출력할 수 있고, LL 구간에서 픽셀은 LCG 모드에서 LPD에 축적된 전하에 대응하는 픽셀 신호를 출력할 수 있다. 또한, SH 구간에서 픽셀은 HCG 모드에서 SPD에 축적된 전하에 대응하는 픽셀 신호를 출력할 수 있고, SL 구간에서 픽셀은 LCG 모드에서 SPD에 축적된 전하에 대응하는 픽셀 신호를 출력할 수 있다. 신호 프로세서(15)는 이미지에서 상이한 구간들에 대응하는 영역들을 결합(combining)할 수 있다.

이미지 센서(10)는 다양한 성능들을 동시에 충족시킬 것이 요구될 수 있다. 예를 들면, 이미지 센서(10)는, 도 3에 도시된 바와 같이, 양호한 저조도 SNR(31), 이미지 결합 지점에서 양호한 SNR(32, 33, 34) 및 확장된 HDR을 제공할 것이 요구될 수 있다. 이하에서, 도면들을 참조하여 후술되는 바와 같이, 복수의 픽셀들에 포함되는 픽셀 그룹들은 상이한 노출 시간들을 각각 가질 수 있고, 상이한 픽셀 그룹들에 대응하는 디지털 신호의 값들이 연산됨으로써 이미지 데이터가 생성될 수 있다. 이에 따라, 이미지 센서(10)의 전술된 성능들, 즉 저조도 SNR, 이미지 결합 지점에서 SNR 및 HDR이 모두 개선될 수 있다.

도 4는 본 개시의 예시적 실시예에 따라 이미지 센서(10)에 의해서 수행되는 방법을 나타내는 순서도이다. 본 명세서에서, 도 4의 방법은 이미지 감지를 위한 방법으로 지칭될 수 있다. 도 4에 도시된 바와 같이, 이미지 센서(10)에 의해서 수행되는 방법은 복수의 단계들(S20, S40, S60, S80)을 포함할 수 있다. 이하에서, 도 4는 도 1을 참조하여 설명될 것이다.

도 4를 참조하면, 단계 S20에서 제1 픽셀 그룹 및 제2 픽셀 그룹이 제1 노출 시간 및 제2 노출 시간을 각각 가지도록, 드라이버(12)를 제어할 수 있다. 예를 들면, 컨트롤러(14)는 신호 프로세서(15)에 의해서 제공되는 설정 신호(SET)에 기초하여 제1 픽셀 그룹 및/또는 제2 픽셀 그룹을 식별할 수 있고, 제1 노출 시간 및/또는 제2 노출 시간을 식별할 수 있다. 컨트롤러(14)는, 제1 픽셀 그룹이 제1 노출 시간을 가지도록 제1 제어 신호(CTR1)를 통해서 드라이버(12)를 제어할 수 있고, 드라이버(12)는 제1 노출 시간을 가지도록 구동 신호들을 통해서 제1 픽셀 그룹을 구동할 수 있다. 또한, 컨트롤러(14)는, 제2 픽셀 그룹이 제2 노출 시간을 가지도록 제1 제어 신호(CTR1)를 통해서 드라이버(12)를 제어할 수 있고, 드라이버(12)는 제2 노출 시간을 가지도록 구동 신호들을 통해서 제2 픽셀 그룹을 구동할 수 있다.

일부 실시예들에서, 설정 신호(SET)는 픽셀 어레이(11)에서 제1 픽셀 그룹 및/또는 제2 픽셀 그룹에 대응하는 어드레스들을 포함할 수 있고, 제1 노출 시간 및/또는 제2 노출 시간에 대응하는 값들을 포함할 수 있다. 일부 실시예들에서, 제1 픽셀 그룹은 레퍼런스 그룹일 수 있고, 제1 픽셀 그룹 및 제1 노출 시간은 고정될 수 있다. 이에 따라 설정 신호(SET)에서 제1 픽셀 그룹 및 제1 노출 시간에 대한 정보는 생략될 수 있고, 컨트롤러(14)는 설정 신호(SET)와 무관하게, 제1 픽셀 그룹이 제1 노출 시간을 가지도록, 제1 제어 신호(CTR1)를 통해 드라이버(12)를 제어할 수 있다.

단계 S40에서, 픽셀 신호가 생성될 수 있다. 예를 들면, 픽셀 어레이(11)는 드라이버(12)가 복수의 구동 라인들(DLs)을 통해서 제공하는 구동 신호들에 기초하여 빛을 감지할 수 있고, 복수의 감지 라인들(SLs)을 통해서 픽셀 신호를 출력할 수 있다. 제1 픽셀 그룹은 제1 노출 시간 동안 입사된 빛의 세기에 대응하는 픽셀 신호를 생성할 수 있고, 제2 픽셀 그룹은 제2 노출 시간 동안 입사된 빛의 세기에 대응하는 픽셀 신호를 생성할 수 있다.

단계 S60에서, 디지털 신호(DSIG)가 생성될 수 있다. 예를 들면, 독출 회로(13)는 단계 복수의 감지 라인들(SLs)을 통해서 픽셀 어레이(11)로부터 수신되는 픽셀 신호로부터 디지털 신호(DSIG)가 생성될 수 있다. 일부 실시예들에서, 독출 회로(13)는 상관 이중 샘플링(CDS)에 기초하여 픽셀 신호로부터 디지털 신호(DSIG)를 생성할 수 있다.

단계 S80에서, 디지털 신호(DSIG)의 제1 값 및 제2 값을 연산함으로써 이미지 데이터(IMG)가 생성될 수 있다. 디지털 신호(DSIG)의 제1 값은 제1 픽셀 그룹에 의해서 생성된 픽셀 신호에 대응할 수 있고, 디지털 신호(DSIG)의 제2 값은 제2 픽셀 그룹에 의해서 생성된 픽셀 신호에 대응할 수 있다. 신호 프로세서(15)는 제1 값 및 제2 값을 연산할 수 있고, 연산 결과에 기초하여 이미지 데이터(IMG)를 생성할 수 있다. 일부 실시예들에서, 신호 프로세서(15)는 제1 값 및 제2 값의 가중합(weighted sum)을 계산할 수 있고, 가중합에 기초하여 이미지 데이터(IMG)를 생성할 수 있다. 단계 S80의 예시가 도 12을 참조하여 설명될 것이다.

도 5a 내지 도 5e는 본 개시의 예시적 실시예들에 따른 픽셀 어레이(11)의 예시들을 나타낸다. 구체적으로, 도 5a 내지 도 5e는 상이하게 그룹핑된 픽셀들을 포함하는 픽셀 어레이들(11a 내지 11d)을 나타낸다. 도면들을 참조하여 전술된 바와 같이, 도 1의 픽셀 어레이(11)에 포함된 복수의 픽셀들은 2이상의 픽셀 그룹들로 그룹핑될 수 있고, 픽셀 그룹들 각각은 자신의 노출 시간을 가질 수 있다. 픽셀 어레이(11)에 포함되는 픽셀들은 도 5a 내지 도 5e에 도시된 바에 제한되지 아니하는 점의 유의된다. 이하에서, 도 5a 내지 도 5e에 대한 설명 중 중복되는 내용은 생략될 것이며, 도 5a 내지 도 5e는 도 1을 참조하여 설명될 것이다.

도 1을 참조하여 전술된 바와 같이, 픽셀 어레이(11)는 조도에 따라 2이상의 영역들로 분할될 수 있다. 예를 들면, 도 5a 내지 도 5d의 픽셀 어레이들(11a 내지 11d) 각각은 제1 영역(R1) 및 제2 영역(R2)으로 분할될 수 있다. 제1 영역(R1)은 상대적으로 높은 조도에 대응하는 고조도 영역일 수 있고, 제2 영역(R2)은 상대적으로 낮은 조도에 대응하는 저조도 영역일 수 있다. 저조도 영역은 상대적으로 긴 노출 시간을 가지는 픽셀을 포함할 수 있고, 고조도 영역은 상대적으로 짧은 노출 시간을 가지는 픽셀을 포함할 수 있다. 도 5a 내지 도 5d에 도시된 바와 상이하게, 픽셀 어레이(11)는 3개 이상의 영역들로 분할될 수 있다. 일부 실시예들에서, 픽셀 어레이(11)에서 분할된 영역은, 저조도 영역 및 고조도 영역을 포함하는 3개 이상의 영역들 중 하나로 분류될 수 있다.

일부 실시예들에서, 픽셀 어레이는, 고정된 위치의 픽셀들을 포함하고 고정된 노출 시간을 가지는 레퍼런스 픽셀 그룹(또는 레퍼런스 그룹)을 포함할 수 있다. 예를 들면, 도 5a 내지 도 5d의 픽셀 어레이들(11a 내지 1d)에서, 제1 픽셀 그룹(G1)은 레퍼런스 픽셀 그룹일 수 있고, 픽셀 어레이들(11a 내지 11d) 각각에서 고정된 위치 및 고정된 노출 시간을 가질 수 있다. 특히, 도 5a 및 도 5b의 제1 픽셀 그룹(G1)과 같이, 레퍼런스 픽셀 그룹이 픽셀 어레이의 일부 행들을 포함하는 경우, 레퍼런스 픽셀 그룹은 레퍼런스 로우(row)로 지칭될 수 있다. 도 5a 내지 도 5d는 레퍼런스 픽셀 그룹의 예시로서 제1 픽셀 그룹(G1)을 각각 도시하나, 레퍼런스 픽셀 그룹이 도 5a 내지 도 5d의 제1 픽셀 그룹(G1)에 제한되지 아니하는 점이 유의된다.

일부 실시예들에서, 픽셀 그룹에 포함되는 픽셀들 각각은 복수의 서브-픽셀들을 포함할 수 있다. 예를 들면, 도 5a, 도 5c 및 도 5d에 도시된 바와 같이, 제1 픽셀 그룹(G1)에 포함되는 제1 픽셀(PX1)은 2개의 레드 픽셀들(R), 그린 픽셀(G) 및 블루 픽셀(B)을 포함할 수 있다. 또한, 제2 픽셀 그룹(G2)의 제2 픽셀(PX2) 및 제3 픽셀 그룹(G3)의 제3 픽셀(PX3) 역시 2개의 레드 픽셀들(R), 그린 픽셀(G) 및 블루 픽셀(B)을 포함할 수 있다. 도 5a에 도시된 바와 같이, 이미지에서 하나의 픽셀에 대응하는 2개의 레드 픽셀들(R), 그린 픽셀(G) 및 블루 픽셀(B)은 베이어(Bayer) 패턴으로 지칭될 수 있다.

도 5a를 참조하면, 픽셀 어레이(11a)는 제1 영역(R1) 및 제2 영역(R2)으로 분할될 수 있다. 예를 들면, 신호 프로세서(15)는 디지털 신호(DSIG)에 기초하여 픽셀 어레이(11a)를, 고조도 대응하는 제1 영역(R1) 및 저조도 대응하는 제2 영역(R2)으로 분할할 수 있다. 신호 프로세서(15)는, 제1 영역(R1)이 짧은 노출 시간을 가지는 픽셀을 포함하고 제2 영역(R2)이 긴 노출 시간을 가지는 픽셀을 포함하도록, 설정 신호(SET)를 생성할 수 있다. 예를 들면, 도 5a에 도시된 바와 같이, 신호 프로세서(15)는, 제1 영역(R1)에서 제2 픽셀 그룹(G2)이 짧은 노출 시간을 가지고 제2 영역(R2)에서 제3 픽셀 그룹(G3)이 긴 노출 시간을 가지도록, 설정 신호(SET)를 생성할 수 있다.

제1 픽셀 그룹(G1)은 조도에 독립적으로 픽셀 어레이(11a)에서 규칙적으로 분포된 픽셀들을 포함할 수 있다. 예를 들면, 도 5a에 도시된 바와 같이, 제1 픽셀 그룹(G1)은 픽셀 어레이(11a)의 홀수(odd) 행들을 포함할 수 있다. 제1 픽셀 그룹(G1)은 조도에 독립적인, 즉 제1 영역(R1) 및 제2 영역(R2)에 독립적인 노출 시간을 가질 수 있다. 일부 실시예들에서, 제1 픽셀 그룹(G1)은 LED(light emitting diode) 플리커에 기인하여 11ms의 노출 시간을 가질 수 있고, 제1 영역(R1)의 제2 픽셀 그룹(G2)은 11ms보다 짧거나 같은 노출 시간(예컨대, 5.5ms, 9ms 등)을 가질 수 있으며, 제2 영역(R2)의 제3 픽셀 그룹(G3)은 11ms보다 길거나 같은 노출 시간(예컨대, 22ms)을 가질 수 있다.

도 5b를 참조하면, 픽셀 어레이(11b)는 제1 영역(R1) 및 제2 영역(R2)으로 분할될 수 있다. 신호 프로세서(15)는, 도 5b에 도시된 바와 같이, 고조도에 대응하는 제1 영역(R1)에서 제2 픽셀 그룹(G2)이 짧은 노출 시간을 가지고 저조도에 대응하는 제2 영역(R2)에서 제3 픽셀 그룹(G3)이 긴 노출 시간을 가지도록, 설정 신호(SET)를 생성할 수 있다. 제1 픽셀 그룹(G1)은 조도에 독립적으로 픽셀 어레이(11b)에서 규칙적으로 분포된 픽셀들을 포함할 수 있다. 예를 들면, 도 5b에 도시된 바와 같이, 제1 픽셀 그룹(G1)은 픽셀 어레이(11b)에서 3의 배수에 대응하는 인덱스들을 가지는 행들을 포함할 수 있다.

도 5c를 참조하면, 픽셀 어레이(11c)는 제1 영역(R1) 및 제2 영역(R2)으로 분할될 수 있다. 신호 프로세서(15)는, 도 5c에 도시된 바와 같이, 고조도에 대응하는 제1 영역(R1)에서 제2 픽셀 그룹(G2)이 짧은 노출 시간을 가지고 저조도에 대응하는 제2 영역(R2)에서 제3 픽셀 그룹(G3)이 긴 노출 시간을 가지도록, 설정 신호(SET)를 생성할 수 있다. 제1 픽셀 그룹(G1)은 조도에 독립적으로 픽셀 어레이(11b)에서 규칙적으로 분포된 픽셀들을 포함할 수 있다. 예를 들면, 도 5c에 도시된 바와 같이, 제1 픽셀 그룹(G1)은 등간격의 격자에 대응하는 위치들에 배치된 픽셀들을 포함할 수 있다.도 5d를 참조하면, 픽셀 어레이(11d)는 제1 영역(R1) 및 제2 영역(R2)으로 분할될 수 있다. 신호 프로세서(15)는, 도 5d에 도시된 바와 같이, 고조도에 대응하는 제1 영역(R1)에서 제2 픽셀 그룹(G2)이 짧은 노출 시간을 가지고 저조도에 대응하는 제2 영역(R2)에서 제3 픽셀 그룹(G3)이 긴 노출 시간을 가지도록, 설정 신호(SET)를 생성할 수 있다. 제1 픽셀 그룹(G1)은 조도에 독립적으로 픽셀 어레이(11b)에서 규칙적으로 분포된 픽셀들을 포함할 수 있다. 예를 들면, 도 5d에 도시된 바와 같이, 제1 픽셀 그룹(G1)은 등간격의 격자에 대응하는 위치들에 배치된 픽셀들을 포함할 수 있고, 도 5c의 제1 픽셀 그룹(G1)과 상이한 패턴에 대응할 수 있다.

도 5e를 참조하면, 픽셀 어레이(11e)는 제1 영역(R1) 및 제2 영역(R2)으로 분할될 수 있다. 행 단위로 제1 영역(R1) 및 제2 영역(R2)으로 분할되는 도 5a 내지 도 5d의 픽셀 어레이들(11a 내지 11d)과 상이하게, 도 5e의 픽셀 어레이(11e)는 조도에 따라 임의의 형상들에 대응하는 영역들로 분할될 수 있다. 예를 들면, 도 5e에 도시된 바와 같이, 픽셀 어레이(11e)는 중앙에 배치되고 저조도에 대응하는 제2 영역(R2) 및 제2 영역(R2)을 둘러싸고 고조도에 대응하는 제1 영역(R1)으로 분할될 수 있다. 신호 프로세서(15)는, 제1 영역(R1)이 짧은 노출 시간을 가지는 픽셀을 포함하고 제2 영역(R2)이 긴 노출 시간을 가지는 픽셀을 포함하도록, 설정 신호(SET)를 생성할 수 있다. 예를 들면, 도 5e에 도시된 바와 같이, 신호 프로세서(15)는, 제1 영역(R1)에서 제2 픽셀 그룹(G2)이 짧은 노출 시간을 가지고 제2 영역(R2)에서 제3 픽셀 그룹(G3)이 긴 노출 시간을 가지도록, 설정 신호(SET)를 생성할 수 있다. 도 5c에 도시된 바와 같이, 레퍼런스 픽셀 그룹에 대응하는 제1 픽셀 그룹(G1)은 등간격의 격자에 대응하는 위치들에 배치된 픽셀들을 포함할 수 있다.

도 6a 및 도 6b는 본 개시의 예시적 실시예들에 따른 이미지 센서(10)의 동작의 예시들을 나타내는 도면이다. 구체적으로, 도 6a 및 도 6b는 도 1의 신호 프로세서(15)에 의해서 수행되는 연산의 예시들을 나타낸다. 도면들을 참조하여 전술된 바와 같이, 신호 프로세서(15)는 픽셀 그룹들에 대응하는 디지털 신호(DSIG)의 값들을 연산할 수 있고, 연산 결과에 기초하여 이미지 데이터(IMG)를 생성할 수 있다. 이하에서, 도 6a 및 도 6b는 도 1을 참조하여 설명될 것이다.

도 6a의 좌측을 참조하면, 픽셀 어레이(11)는 고조도에 대응하는 제1 영역(R1) 및 저조도에 대응하는 제2 영역(R2)을 포함할 수 있다. 제1 영역(R1)은 레퍼런스 픽셀로서 제1 픽셀(PX1) 및 어댑티브 픽셀로서 제2 픽셀(PX2)을 포함할 수 있다. 제2 영역(R2)은 레퍼런스 픽셀로서 제3 픽셀(PX3) 및 어댑티브 픽셀로서 제4 픽셀(PX4)을 포함할 수 있다. 도 5a 내지 도 5d를 참조하여 전술된 바와 같이, 제1 픽셀(PX1) 및 제3 픽셀(PX3)은 레퍼런스 픽셀 그룹에 포함될 수 있고, 고정된 노출 시간(예컨대, 11ms)을 가질 수 있다. 또한, 제1 영역(R1)의 제2 픽셀(PX2)은 레퍼런스 픽셀보다 짧거나 같은 노출 시간을 가질 수 있고, 제2 영역(R2)의 제4 픽셀(PX4)은 레퍼런스 픽셀보다 길거나 같은 노출 시간을 가질 수 있다.

일부 실시예들에서, 신호 프로세서(15)는 디지털 신호(DSIG)의 값들의 가중합을 계산할 수 있다. 예를 들면, 도 6a에 도시된 바와 같이, 픽셀 어레이(11)의 제1 픽셀(PX1)에 대응하는 디지털 신호(DSIG)의 값 및 가중치 W11이 곱과, 제2 픽셀(PX2)에 대응하는 디지털 신호(DSIG)의 값 및 가중치 W21의 곱이 합산될 수 있고, 이미지 데이터(IMG)의 제1 픽셀(PX1')의 값은 계산된 가중합에 대응할 수 있다. 픽셀 어레이(11)의 제1 픽셀(PX1)에 대응하는 디지털 신호(DSIG)의 값 및 가중치 W12이 곱과, 제2 픽셀(PX2)에 대응하는 디지털 신호(DSIG)의 값 및 가중치 W22의 곱이 합산될 수 있고, 이미지 데이터(IMG)의 제2 픽셀(PX2')의 값은 계산된 가중합에 대응할 수 있다. 픽셀 어레이(11)의 제3 픽셀(PX3)에 대응하는 디지털 신호(DSIG)의 값 및 가중치 W31이 곱과, 제4 픽셀(PX4)에 대응하는 디지털 신호(DSIG)의 값 및 가중치 W41의 곱이 합산될 수 있고, 이미지 데이터(IMG)의 제3 픽셀(PX3')의 값은 계산된 가중합에 대응할 수 있다. 픽셀 어레이(11)의 제3 픽셀(PX3)에 대응하는 디지털 신호(DSIG)의 값 및 가중치 W32이 곱과, 제4 픽셀(PX4)에 대응하는 디지털 신호(DSIG)의 값 및 가중치 W42의 곱이 합산될 수 있고, 이미지 데이터(IMG)의 제4 픽셀(PX4')의 값은 계산된 가중합에 대응할 수 있다. 일부 실시예들에서, 도 6a에 도시된 바와 상이하게, 픽셀 어레이(11)에서 3개 이상의 인접한 픽셀들에 대응하는 값들의 가중합이 이미지 데이터(IMG)의 계산될 수도 있다.

일부 실시예들에서, 가중치들은 노출 시간에 기초하여 정의될 수 있다. 예를 들면, 제1 픽셀(PX1)의 노출 시간은 제2 픽셀(PX2)의 노출 시간보다 길거나 같을 수 있고, 이에 따라 제1 픽셀(PX1)의 가중치(예컨대, W11)는 제2 픽셀(PX2)의 가중치(예컨대, W21)보다 작을 수 있다. 또한, 제3 픽셀(PX3)의 노출 시간은 제4 픽셀(PX4)의 노출 시간보다 짧거나 같을 수 있고, 이에 따라, 제3 픽셀(PX3)의 가중치(예컨대, W31)는 제4 픽셀의 가중치(예컨대, W41)보다 클 수 있다.

일부 실시예들에서, 가중치들은 이미지 데이터(IMG)의 해상도(resolution) 또는 선예도(sharpness)에 기초하여 정의될 수 있다. 예를 들면, 제1 픽셀(PX1)의 가중치 W11 및 가중치 W12가 상이할 수 있고, 그리고/또는 제2 픽셀(PX2)의 가중치 W21 및 가중치 W22가 상이할 수 있다. 이에 따라, 이미지 데이터(IMG)의 제1 픽셀(PX1') 및 제2 픽셀(PX2')은 상이한 값들을 각각 가질 수 있다. 또한, 제3 픽셀(PX3)의 가중치 W31 및 가중치 W32가 상이할 수 있고, 그리고/또는 제4 픽셀(PX4)의 가중치 W31 및 가중치 W42가 상이할 수 있다. 이에 따라, 이미지 데이터(IMG)의 제3 픽셀(PX3') 및 제4 픽셀(PX4')은 상이한 값들을 각각 가질 수 있다.

전술된 바와 같이, 신호 프로세서(15)는 상이한 노출 시간들을 각각 가지는 픽셀들에 대하여 비닝(binning)을 수행할 수 있고, 이에 따라 도 7a 내지 도 8b를 참조하여 후술되는 바와 같이, 이미지 센서(10) 개선된 성능을 가질 수 있다.

도 6b를 참조하면, 비닝에 의해서 이미지 데이터(IMG)의 해상도가 변동할 수 있다. 예를 들면, 도 6b에 도시된 바와 같이, 픽셀 어레이(11)에서 상호 인접한 제1 내지 제4 픽셀(PX1 내지 PX4)로부터 상이한 해상도의 제1 내지 제3 이미지 데이터(IMG1 내지 IMG3)가 생성될 수 있다. 도 6a의 이미지 데이터(IMG)와 같이, 제1 이미지 데이터(IMG1)는 픽셀 어레이(11)에 대응하는 해상도를 가질 수 있다. 일부 실시예들에서, 제1 이미지 데이터(IMG1)의 제1 픽셀(PX1') 및 제3 픽셀(PX3')의 값들은 픽셀 어레이(11)의 제1 픽셀(PX1) 및 제3 픽셀(PX3)에 대한 비닝에 의해서 생성될 수 있고, 제1 이미지 데이터(IMG1)의 제1 픽셀(PX1') 및 제3 픽셀(PX3')의 값들은 픽셀 어레이(11)의 제2 픽셀(PX21) 및 제4 픽셀(PX4)에 대한 비닝에 의해서 생성될 수 있다. 일부 실시예들에서, 제1 이미지 데이터(IMG1)의 제1 내지 제4 픽셀(PX1' 내지 PX4')의 값들은 픽셀 어레이(11)의 제1 내지 제4 픽셀(PX1 내지 PX4)에 대한 비닝에 의해서 생성될 수 있다.

제2 이미지 데이터(IMG2)의 제1 픽셀(PX1')의 값은 픽셀 어레이(11)의 제1 픽셀(PX1) 및 제3 픽셀(PX3)에 대한 비닝에 의해서 생성될 수 있고, 제2 이미지 데이터(IMG2)의 제2 픽셀(PX2')의 값은 픽셀 어레이(11)의 제2 픽셀(PX2) 및 제4 픽셀(PX4)에 대한 비닝에 의해서 생성될 수 있다. 이에 따라, 제2 이미지 데이터(IMG2)는 제1 이미지 데이터(IMG1)보다 낮은 해상도의 이미지에 대응할 수 있다. 또한, 제3 이미지 데이터(IMG3)의 제1 픽셀(PX1')의 값은 픽셀 어레이(11)의 제1 내지 제4 픽셀(PX1 내지 PX4)의 비닝에 의해서 생성될 수 있다. 이에 따라, 제3 이미지 데이터(IMG3)는 제1 이미지 데이터(IMG1) 및 제2 이미지 데이터(IMG2)보다 낮은 해상도의 이미지에 대응할 수 있다.

도 7a 및 도 7b는 본 개시의 예시적 실시예들에 따른 이미지 센서(10)의 SNR-HDR 그래프들을 나타낸다. 구체적으로, 도 7a의 그래프는 저조도 영역에서 이미지 센서(10)의 SNR-HDR 그래프를 나타내고, 도 7b의 그래프는 고조도 영역에서 이미지 센서(10)의 SNR-HDR 그래프를 나타낸다. 이하에서, 도 7a 및 도 7b는 도 6a를 참조하여 설명될 것이다.

도 7a를 참조하면, 제1 곡선(71a)은 픽셀 어레이(11)의 모든 픽셀들에 동일한 노출 시간을 적용한 경우에 대응할 수 있고, 제2 곡선(72a)은 도면들을 참조하여 전술된 바와 같이, 저조도 영역에서 픽셀 그룹들에 상이한 노출 시간들을 적용한 경우에 대응할 수 있다. 도 7a의 A와 같이, 제2 곡선(72a)은 저조도에서 제1 곡선(71a)보다 높은 SNR을 가질 수 있고, 이미지 센서(10)는 개선된 저조도 SNR을 제공할 수 있다. 예를 들면, 저조도에 대응하는 도 6a의 제2 영역(R2)에서 제3 픽셀(PX3)의 노출 시간이 11ms이고, 제4 픽셀(PX4)의 노출 시간이 22ms인 경우, 2배 연장된 노출 시간에 기인하여 제4 픽셀(PX4)의 경우 약 6dB의 SNR이 증가할 수 있고, 가중치들 W31, W32, W41 및 W42가 모두 동일한 경우, 비닝에 의해서 아래 [수학식 1]과 같이 약 5dB의 SNR이 증가할 수 있다.

[수학식 1]에서, 상이한 노출 시간들에 기인하여 정규화(normalization)가 수행될 수 있고, 일부 실시예들에서 정규화는 가중치들에 반영될 수도 있다.

도 7b를 참조하면, 도 7b에서 제1 곡선(71b)은 픽셀 어레이(11)의 모든 픽셀들에 동일한 노출 시간을 적용한 경우를 나타내고, 제2 곡선(72b)은 도면들을 참조하여 전술된 바와 같이, 고조도 영역에서 픽셀 그룹들에 상이한 노출 시간들을 적용한 경우에 대응할 수 있다. 도 7b의 B와 같이, 제2 곡선(72b)은 제1 곡선(71b)보다 고조도 영역에서 확장된 HDR을 가질 수 있고, 이미지 센서(10)는 개선된 HDR을 제공할 수 있다. 예를 들면, 고조도에 대응하는 도 6a의 제1 영역(R1)에서 제1 픽셀(PX1)의 노출 시간이 11ms이고, 제2 픽셀(PX2)의 노출 시간이 5.5ms인 경우, 제2 픽셀(PX2)에서 수용가능한 최도 조도가 증가할 수 있고, 아래 [수학식 2]와 같이 HDR은 6dB 확장될 수 있다.

도 8a 및 도 8b는 본 개시의 예시적 실시예들에 따른 이미지 센서(10)의 SNR-HDR 그래프들을 나타낸다. 구체적으로, 도 8a의 그래프는 저조도 영역에서 고온 상태의 이미지 센서(10)의 SNR-HDR 그래프를 나타내고, 도 8b의 그래프는 고조도 영역에서 고온 상태의 이미지 센서(10)의 SNR-HDR 그래프를 나타낸다. 이하에서, 도 8a 및 도 8b는 도 1을 참조하여 설명될 것이다.

이미지 센서(10)는, 도 3을 참조하여 전술된 바와 같이, 이미지 결합 지점에서 양호한 SNR을 가질 것이 요구될 수 있고, 특히 이미지 결합 지점의 SNR은 이미지 센서(10)가 고온인 경우 열화될 수 있다. 도면들을 참조하여 전술된 바와 같이, 상이한 노출 시간들을 각각 가지는 픽셀들이 비닝될 수 있고, 픽셀들에서 노이즈 차이가 큰 경우, 노이즈가 높은 픽셀을 기준으로 약 5dB의 SNR이 증가할 수 있다. 또한, 상이한 노출 시간들을 각각 가지는 픽셀들이 비닝될 수 있고, 픽셀들에서 노이즈가 유사한 경우, 약 3dB의 SNR이 증가할 수 있다. 이에 따라, DSNU(dark signal non-uniformity)와 같이, 상이한 구간들 사이에서 발생하는 SNR 딥(dip)은, 상이한 노출 시간들을 각각 가지는 픽셀들의 비닝에 의해서 크게 개선될 수 있다. 즉, SNR이 취약한 구간에 추가적인 구간을 배치하는 효과가 발생할 수 있고, 결과적으로 전체 SNR이 개선되는 효과가 발생할 수 있다.

도 8a를 참조하면, 도 8a에서 제1 곡선(81a)은 픽셀 어레이(11)의 모든 픽셀들에 동일한 노출 시간을 적용한 경우에 대응할 수 있고, 제2 곡선(82a)은 도면들을 참조하여 전술된 바와 같이, 저조도 영역에서 픽셀 그룹들에 상이한 노출 시간들을 적용한 경우에 대응할 수 있다. 도 8a의 A, B 및 C와 같이, 제2 곡선(82a)은 이미지 결합 지점들에서 제1 곡선(81a)보다 높은 SNR을 가질 수 있고, 이미지 센서(10)는 이미지 결합 지점들에서 개선된 SNR들을 제공할 수 있다.

도 8b를 참조하면, 도 8b에서 제1 곡선(81b)은 픽셀 어레이(11)의 모든 픽셀들에 동일한 노출 시간을 적용한 경우에 대응할 수 있고, 제2 곡선(82b)은 도면들을 참조하여 전술된 바와 같이, 고조도 영역에서 픽셀 그룹들에 상이한 노출 시간들을 적용한 경우에 대응할 수 있다. 도 8b의 D, E 및 F와 같이, 제2 곡선(82b)은 이미지 결합 지점들에서 제1 곡선(81b)보다 높은 SNR을 가질 수 있고, 이미지 센서(10)는 이미지 결합 지점들에서 개선된 SNR들을 제공할 수 있다.

도 9는 본 개시의 예시적 실시예에 따라 이미지 센서(10)에 의해서 수행되는 방법을 나타내는 순서도이다. 도 9에 도시된 바와 같이, 이미지 센서(10)에 의해서 수행되는 방법은 복수의 단계들(S12, S14, S16)을 포함할 수 있다. 일부 실시예들에서, 도 9의 방법은 도 4의 단계 S20가 수행되기 전에 도 1의 신호 프로세서(15)에 의해서 수행될 수 있다. 이하에서, 도 9는 도 1을 참조하여 설명될 것이다.

도 9를 참조하면, 단계 S12에서 조도가 식별될 수 있다. 예를 들면, 신호 프로세서(15)는 디지털 신호(DSIG)에 기초하여 피사체의 조도를 식별할 수 있다. 일부 실시예들에서, 신호 프로세서(15)는 픽셀 어레이(11)에 포함된 복수의 픽셀들 전체에 대응하는 디지털 신호(DSIG)의 값들에 기초하여 조도를 식별할 수 있다. 일부 실시예들에서, 신호 프로세서(15)는 픽셀 어레이(11)에 포함된 복수의 픽셀들 중 일부(예컨대, 등간격 격자에 대응하는 픽셀들)에 대응하는 디지털 신호(DSIG)의 값들에 기초하여 조도를 식별할 수 있다.

단계 S14에서, 픽셀 그룹 및 노출 시간이 식별될 수 있다. 예를 들면, 신호 프로세서(15)는 단계 S12에서 식별된 조도를 적어도 하나의 문턱값과 비교할 수 있다. 신호 프로세서(15)는, 적어도 하나의 문턱값에 의해서 정의되는 2이상의 조도 범위들 중 동일한 조도 범위에 포함되는 픽셀들을 하나의 영역으로 정의할 수 있다. 신호 프로세서(15)는 픽셀 어레이(11)를 2이상의 영역들로 분할할 수 있고, 분할된 영역들 각각에서 픽셀 그룹을 식별할 수 있다. 일부 실시예들에서, 도 5a 내지 도 5d를 참조하여 전술된 바와 같이, 픽셀 어레이(11)는 레퍼런스 픽셀 그룹을 포함할 수 있고, 신호 프로세서(15)는, 분할된 영역에서 레퍼런스 픽셀 그룹을 제외한 픽셀들을 포함하는 픽셀 그룹을 식별할 수 있다. 일부 실시예들에서, 신호 프로세서(15)는, 조도 범위 및 노출 시간의 복수의 쌍들을 저장하는 룩업 테이블을 참조할 수 있고, 픽셀 그룹에 대응하는 노출 시간을 식별할 수 있다.

단계 S16에서, 컨트롤러(14)가 설정될 수 있다. 예를 들면, 신호 프로세서(15)는 단계 S14에서 식별된 픽셀 그룹 및 노출 시간에 기초하여 컨트롤러(14)를 설정할 수 있다. 신호 프로세서(15)는 식별된 픽셀 그룹 및 노출 시간에 대한 정보를 포함하는 설정 신호(SET)를 생성할 수 있고, 컨트롤러(14)는 설정 신호(SET)에 포함된 정보에 따라 드라이버(12)를 제어할 수 있다. 이에 따라, 드라이버(12)는, 단계 S14에서 식별된 픽셀 그룹이 단계 S14에서 식별된 노출 시간을 가지도록 구동할 수 있다. 단계 S16의 예시들이 도 10a 및 도 10b를 참조하여 후술될 것이다.

도 10a 및 도 10b는 본 개시의 예시적 실시예들에 따라 이미지 센서(10)에 의해서 수행되는 방법의 예시들을 나타내는 순서도들이다. 구체적으로, 도 10a 및 도 10b의 순서도들은 도 9의 단계 S16의 예시들을 나타낸다. 도 9를 참조하여 전술된 바와 같이, 도 10a의 단계 S16a 및 도 10b의 단계 S16b에서 도 1의 신호 프로세서(15)는 컨트롤러(13)를 설정할 수 있다. 일부 실시예들에서, 도 9의 단계 S16은 도 10a의 단계 S16a 및 도 10b의 단계 S16b를 모두 포함할 수도 있다. 도 10a 및 도 10b에서 제2 픽셀 그룹 및 제3 픽셀 그룹은 도 5a 내지 도 5d의 제2 픽셀 그룹(G2) 및 제3 픽셀 그룹(G3)이고, 제1 픽셀 그룹(G1)은 고정된 제1 노출 시간(예컨대, 11ms)을 가지는 것으로 가정된다. 이하에서, 도 10a 및 도 10b는 도 5a 내지 도 5d를 참조하여 설명될 것이다.

도 10a를 참조하면, 단계 S16a는 단계 S16_2 및 단계 S16_4를 포함할 수 있다. 단계 S16_2에서, 제2 픽셀 그룹(G2)의 스몰 포토 다이오드(SPD)가 제2 노출 시간을 가지도록 컨트롤러(14)가 설정될 수 있다. 제2 픽셀 그룹(G2)은 고조도에 대응하는 제1 영역(R1)에 포함될 수 있고, 이에 따라 제2 노출 시간(예컨대, 5.5ms)은 제1 픽셀 그룹(G1)의 제1 노출 시간(예컨대, 11ms)보다 짧거나 같을 수 있다. 도 2b를 참조하여 전술된 바와 같이, 픽셀은 스몰 포토 다이오드(SPD) 및 라지 포토 다이오드(LPD)를 포함할 수 있고, 신호 프로세서(15)는 제2 픽셀 그룹(G2)에 포함된 픽셀의 스몰 포토 다이오드(SPD)가 제1 노출 시간보다 짧거나 같은 제2 노출 시간을 가지도록 컨트롤러(14)를 설정할 수 있다. 이에 따라, 이미지 센서(10)는 확장된 HDR을 제공할 수 있다.

단계 S16_4에서, 제2 픽셀 그룹(G2)의 라지 포토 다이오드(LPD)가 제4 노출 시간을 가지도록 컨트롤러(14)가 설정될 수 있다. 제2 픽셀 그룹(G2)은 고조도에 대응하는 제1 영역(R1)에 포함될 수 있고, 이에 따라 단계 S16_2에서 제2 픽셀 그룹(G2)의 스몰 포토 다이오드(SPD)는 제1 노출 시간보다 짧거나 같은 제2 노출 시간으로 설정될 수 있는 한편, 단계 S16_4에서 제2 픽셀 그룹(G2)의 라지 포토 다이오드(LPD)는 제2 노출 시간보다 길거나 같은 제4 노출 시간(예컨대, 9ms 또는 11ms)을 가질 수 있다. 이에 따라, 도 11a를 참조하여 후술되는 바와 같이, 고조도 영역에서 어두운 피사체가 촬상되는 경우 발생할 수 있는 SNR 열화가 방지될 수 있다.

도 10b를 참조하면, 단계 S16b는 단계 S16_6 및 단계 S16_8을 포함할 수 있다. 단계 S16_6에서, 제3 픽셀 그룹(G3)의 라지 포토 다이오드(LPD)가 제3 노출 시간을 가지도록 컨트롤러(14)가 설정될 수 있다. 제3 픽셀 그룹(G3)은 저조도에 대응하는 제2 영역(R2)에 포함될 수 있고, 이에 따라 제3 노출 시간(예컨대, 22ms)은 제1 픽셀 그룹(G1)의 제1 노출 시간(예컨대, 11ms)보다 길거나 같을 수 있다. 도 2b를 참조하여 전술된 바와 같이, 픽셀은 스몰 포토 다이오드(SPD) 및 라지 포토 다이오드(LPD)를 포함할 수 있고, 신호 프로세서(15)는 제3 픽셀 그룹(G3)에 포함된 픽셀의 라지 포토 다이오드(LPD)가 제1 노출 시간보다 길거나 같은 제3 노출 시간을 가지도록 컨트롤러(14)를 설정할 수 있다. 이에 따라, 이미지 센서(10)는 저조도에서 높은 SNR을 제공할 수 있다.

단계 S16_8에서, 제3 픽셀 그룹(G3)의 스몰 포토 다이오드(SPD)가 제5 노출 시간을 가지도록 컨트롤러(14)가 설정될 수 있다. 제3 픽셀 그룹(G3)은 저조도에 대응하는 제2 영역(R2)에 포함될 수 있고, 이에 따라 단계 S16_6에서 제3 픽셀 그룹(G3)의 라지 포토 다이오드(LPD)는 제1 노출 시간보다 길거나 같은 제3 노출 시간으로 설정될 수 있는 한편, 단계 S16_8에서 제3 픽셀 그룹(G3)의 스몰 포토 다이오드(SPD)는 제3 노출 시간보다 짧거나 같은 제4 노출 시간(예컨대, 5.5ms, 9ms 또는 11ms)을 가질 수 있다. 이에 따라, 도 11b를 참조하여 후술되는 바와 같이, 저조도 영역에서도 확장된 HDR이 제공될 수 있다.

도 11a 및 도 11b는 본 개시의 예시적 실시예들에 따른 이미지 센서(10)의 SNR-HDR 그래프들을 나타낸다. 구체적으로, 도 11a는 도 10a의 단계 S16a를 수행하는 이미지 센서(10)의 SNR-HDR 그래프를 나타내고, 도 11b는 도 10b의 단계 S16b를 수행하는 이미지 센서(10)의 SNR-HDR 그래프를 나타낸다. 이하에서, 도 11a 및 도 11b는 도 5a 내지 도 5d를 참조하여 설명될 것이다.

도 10a를 참조하면, 제1 곡선(111a)은 픽셀 어레이(11)의 모든 픽셀들에 동일한 노출 시간을 적용한 경우에 대응할 수 있고, 제2 곡선(112a)은 도 11a를 참조하여 전술된 바와 같이, 고조도에 대응하는 제1 영역(R1)에서 제2 픽셀 그룹(G2)의 스몰 포토 다이오드(SPD)가 제1 노출 시간보다 짧거나 같은 제2 노출 시간을 가지고, 제2 픽셀 그룹(G2)의 라지 포토 다이오드(LPD)가 제2 노출 시간보다 길거나 같은 제4 노출 시간을 가질 수 있다. 이에 따라, 도 11a의 A와 같이, 제2 곡선(112a)은 저조도에서 제1 곡선(111a)보다 높은 SNR을 가질 수 있고, 이미지 데이터(IMG)는 고조도 영역에서도 어두운 피사체를 잘 나타낼 수 있다.

도 10b를 참조하면, 제1 곡선(111b)은 픽셀 어레이(11)의 모든 픽셀들에 동일한 노출 시간을 적용한 경우에 대응할 수 있고, 제2 곡선(112b)은 도 11b를 참조하여 전술된 바와 같이, 저조도에 대응하는 제2 영역(R2)에서 제3 픽셀 그룹(G3)의 라지 포토 다이오드(LOD)가 제1 노출 시간보다 길거나 같은 제3 노출 시간을 가지고, 제3 픽셀 그룹(G3)의 스몰 포토 다이오드(SPD)가 제3 노출 시간보다 짧거나 같은 제5 노출 시간을 가질 수 있다. 이에 따라, 도 11b의 B와 같이, 제2 곡선(112b)은 제1 곡선(111b)보다 고조도 영역에서 확장된 HDR을 가질 수 있고, 이미지 데이터(IMG)는 저조도 영역에서도 밝은 피사체를 잘 나타낼 수 있다.

도 12는 본 개시의 예시적 실시예에 따라 이미지 센서(10)에 의해서 수행되는 방법을 나타내는 순서도이다. 구체적으로, 도 12의 순서도는 도 4의 단계 S80의 예시를 나타낸다. 도 4를 참조하여 전술된 바와 같이, 도 12의 단계 S80'에서 디지털 신호(DSIG)의 제1 값 및 제2 값을 연산함으로써 이미지 데이터(IMG)가 생성될 수 있다. 도 12에 도시된 바와 같이, 단계 S80'은 복수의 단계들(S82, S84, S86, S88)을 포함할 수 있다. 일부 실시예들에서, 단계 S80'은 도 1의 신호 프로세서(15)에 의해서 수행될 수 있고, 이하에서 도 12는 도 1을 참조하여 설명될 것이다.

도 12를 참조하면, 단계 S82에서 레퍼런스 픽셀의 제1 값 및 어댑티브 픽셀의 제2 값이 정규화될 수 있다. 도면들을 참조하여 전술된 바와 같이, 레퍼런스 픽셀 및 어댑티브 픽셀은 상이한 노출 시간들을 각각 가질 수 있다. 이에 따라, 동작 잡음(motion artifact) 및/또는 LED 플리커가 발생하는 환경에서 레퍼런스 픽셀 및 어댑티브 픽셀은 차이가 큰 픽셀 신호들을 각각 생성할 수 있다. 이에 따라, 신호 프로세서(15)는, 후술되는 바와 같이 레퍼런스 픽셀의 제1 값 및 어댑티브 픽셀의 제2 값을 비교하기 위하여, 노출 시간 차이를 보상함으로써 제1 값 및 제2 값을 정규화할 수 있다. 예를 들면, 어댑티브 픽셀의 노출 시간이 레퍼런스 픽셀의 노출 시간의 1/2인 경우, 제2 값은 2배로 정규화될 수 있다.

단계 S84에서, 정규화된 제1 값 및 정규화된 제2 값의 차이가 문턱값(THR)과 비교될 수 있다. 예를 들면, 신호 프로세서(15)는, 단계 S82에서 정규화된 제1 값 및 정규화된 제2 값 사이 차이를 계산할 수 있고, 차이가 문턱값(THR)이상인지 여부를 판정할 수 있다. 제1 값 및 제2 값의 차이가 큰 경우, 신호 프로세서(15)는 동작 잡음 및/또는 LED 플리커가 발생한 것으로 간주할 수 있고, 레퍼런스 픽셀에 대한 의존도를 높이고 어댑티브 픽셀에 대한 의존도를 낮출 수 있다. 도 12에 도시된 바와 같이, 제1 값 및 제2 값의 차이가 문턱값(THR) 이상인 경우, 단계 S86이 후속하여 수행될 수 있다. 다른 한편으로, 제1 값 및 제2 값의 차이가 문턱값(THR) 미만인 경우, 단계 S86의 수행이 생략될 수 있고 단계 S88이 후속하여 수행될 수 있다.

동작 잡음 및/또는 LED 플리커가 발생한 경우, 단계 S86에서 제2 값의 가중치가 감소할 수 있다. 예를 들면, 신호 프로세서(15)는 레퍼런스 픽셀에 대한 의존도를 높이고 어댑티브 픽셀에 대한 의존도를 낮추기 위하여, 제2 값의 가중치를 감소시킬 수 있다. 일부 실시예들에서, 신호 프로세서(15)는 제2 값의 가중치를 영(zero)으로 설정할 수 있고, 이에 따라 제2 값이 무시될 수 있다. 일부 실시예들에서, 신호 프로세서(15)는 제2 값의 가중치를 감소시키는 동시에, 제1 값의 가중치를 증가시킬 수 있다.

단계 88에서, 제1 값 및 제2 값의 가중합이 계산될 수 있다. 예를 들면, 동작 잡음 및/또는 LED 플리커가 발생하지 아니한 경우, 즉 단계 S84에 후속하여 단계 S88이 수행되는 경우, 신호 프로세서(15)는 미리 정의된 가중치들에 기초하여 제1 값 및 제2 값의 가중합을 계산할 수 있다. 다른 한편으로, 동작 잡음 및/또는 LED 플리커가 발생한 경우, 즉 단계 S86에 후속하여 단계 S88이 수행되는 경우, 신호 프로세서(15)는 단계 S86에서 조정된 가중치들에 기초하여 제1 값 및 제2 값의 가중합을 계산할 수 있다. 결과적으로, 픽셀들의 상이한 노출 시간들에 기인하는 동작 잡음이 해소될 수 있고, LFM(LED flicker mitigation)이 효과적으로 달성될 수 있다.

도 13a는 본 개시의 예시적 실시예에 따른 이미지 센서(100a)의 분리 사시도이고, 도 13b는 본 개시의 예시적 실시예에 따른 이미지 센서(100a)의 평면도이고, 도 13c는 본 개시의 예시적 실시예에 따른 이미지 센서(100a)의 분리 사시도이다.

도 13a 및 도 13b를 참조하면, 이미지 센서(100a)는 제1 칩(CH1) 및 제2 칩(CH2)이 적층된 구조를 가질 수 있다. 제1 칩(CH1)에는 픽셀 어레이(도 1의 11)에 포함되는 복수의 픽셀(PX)들 각각의 픽셀 코어(예컨대, 적어도 하나의 광전 변환 소자 및 기타 소자들)가 형성되고, 제2 칩(CH2)에는 로직 회로, 예컨대 도 1의 드라이버(12), 독출 회로(13), 컨트롤러(14) 및 신호 프로세서(15)가 형성될 수 있다.

도 13b에 도시된 바와 같이, 제1 칩(CH1) 및 제2 칩(CH1)은 중심부에 배치되는 액티브 영역(AA) 및 로직 영역(LA)을 각각 포함할 수 있고, 또한, 칩의 외곽에 배치되는 주변 영역(PERR, PEI)을 포함할 수 있다. 제1 칩(CH1)의 액티브 영역(AA)에는 광전 변환 소자 및 기타 소자들이 2차원 어레이 구조로 배치될 수 있다. 제2 칩(CH2)의 로직 영역(LA)에는 로직 회로가 배치될 수 있다.

제1 칩(CH1) 및 제2 칩(CH2)의 주변 영역(PERR, PEI)에는 제3 방향(Z 방향)으로 연장된 관통 비아들(through vias)이 배치될 수 있다. 제1 칩(CH1) 및 제2 칩(CH1)은 관통 비아들을 통해 서로 전기적으로 결합될 수 있다. 제1 칩(CH1)의 주변 영역(PERR)에는 제1 방향(X 방향) 또는 제2 방향(Y 방향)으로 연장된 배선들, 수직 컨택들이 더 형성될 수 있다. 제2 칩(CH2)의 배선층에도 제1 방향(X 방향)과 제2 방향(Y 방향)으로 연장하는 다수의 배선 라인들이 배치될 수 있고, 이러한 배선 라인들은 로직 회로로 연결될 수 있다. 한편, 제1 칩(CH1)과 제2 칩(CH2)은 관통 비아를 통해 전기적으로 결합되는 구조에 대하여 설명하였으나, 이에 한정되는 것은 아니며, 예컨대, 제1 칩(CH1)과 제2 칩(CH2)은 Cu-Cu 본딩, 관통 비아와 Cu 패드의 결합, 관통 비아와 외부 접속 단자의 결합, 또는 일체형의 관통 비아를 통한 결합 등 다양한 결합 구조로 구현될 수 있다.

도 13c를 참조하면, 픽셀 어레이(110a)에 포함되는 복수의 단위 픽셀들은 상부의 칩에 임베디드될 수 있다. 예를 들어, 상기 상부의 칩은 도 13a의 제1 칩(CH1)에 대응할 수 있다. 도 1의 드라이버(12)는 하부의 칩에 임베디드될 수 있다. 예를 들어, 하부의 칩은 도 13a의 제2 칩(CH2)에 상응할 수 있다. 다양한 실시예들에 따라, 적어도 하나의 제어 신호는 관통 비아들을 통해 전달될 수 있다. 예를 들어, 제1 스위치(DSW1)를 턴-온하는 제어 신호는 관통 비아를 통해 하부의 제2 칩(CH2)으로부터 상부의 제1 칩(CH1)에게 전기적으로 전달될 수 있다.

도 14는 본 개시의 예시적 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치를 나타내는 블록도이고, 도 15는 본 개시의 예시적 실시예에 따른 도 14의 카메라 모듈을 나타내는 블록도이다.

도 14를 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.

카메라 모듈 그룹(1100)은 복수의 카메라 모듈들(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈들(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 일부 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 k개(k는 4 이상의 정수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다. 이하, 도 15를 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.

도 15를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ½OPFE½)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다. 프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다. 일부 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다. 일부 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree) 이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다. 일부 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다. 일부 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.

OPFE(1110)는 예를 들어 m(여기서, m은 0보다 큰 정수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.

액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.

이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)를 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 이미지 센서(1142)는 HCG 이미지 데이터 및 LCG 이미지 데이터를 병합하여, 높은 동작 범위를 갖는 이미지 데이터를 생성할 수 있다.

제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.

메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.

도 14 및 도 15를 함께 참조하면, 일부 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.

일부 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

일부 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은, 예컨대 IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.

일부 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

또한, 일부 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

일부 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.

다시 도 14를 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.

이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서들(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다. 이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서들(1212a, 1212b, 1212c)를 포함할 수 있다.

각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서들(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

한편, 일부 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.

각각의 서브 이미지 프로세서들(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서들(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.

구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

일부 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 일부 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.

이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

일부 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서들(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.

일부 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.

일부 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.

애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 리드아웃하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.

PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.

PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

Claims (20)

1. 복수의 픽셀들을 포함하는 픽셀 어레이;
   상기 픽셀 어레이를 구동하도록 구성된 드라이버;
   상기 픽셀 어레이로부터 수신된 픽셀 신호로부터 디지털 신호를 생성하도록 구성된 독출 회로;
   상기 복수의 픽셀들 중 제1 픽셀 그룹 및 제2 픽셀 그룹이 제1 노출 시간 및 제2 노출 시간을 각각 가지도록, 상기 드라이버를 제어하도록 구성된 컨트롤러; 및
   상기 제1 픽셀 그룹에 대응하는 상기 디지털 신호의 제1 값 및 상기 제2 픽셀 그룹에 대응하는 상기 디지털 신호의 제2 값을 연산함으로써 이미지 데이터를 생성하도록 구성된 신호 프로세서를 포함하고,
   상기 제1 픽셀 그룹은, 상기 조도에 독립적인 것을 특징으로 하는 이미지 센서.
2. 청구항 1에 있어서,
   상기 신호 프로세서는, 상기 디지털 신호의 값에 기초하여 조도를 식별하고, 상기 조도에 기초하여 상기 제2 픽셀 그룹 및 상기 제2 노출 시간을 식별하고, 상기 제2 픽셀 그룹 및 상기 제2 노출 시간에 기초하여 상기 컨트롤러를 설정하도록 구성된 것을 특징으로 하는 이미지 센서.
3. 청구항 2에 있어서,
   상기 제1 픽셀 그룹은, 상기 픽셀 어레이의 복수의 제1 행들을 포함하고,
   상기 제2 픽셀 그룹은, 상기 복수의 행들 사이 적어도 하나의 제2 행을 포함하는 것을 특징으로 하는 이미지 센서.
4. 청구항 2에 있어서,
   상기 신호 프로세서는, 상기 제1 값 및 상기 제2 값을 정규화하고, 정규화된 상기 제1 값 및 정규화된 상기 제2 값 사이 차이가 기준치 이상인 경우, 상기 제2 값의 가중치를 감소시키도록 구성된 것을 특징으로 하는 이미지 센서.
5. 청구항 1에 있어서,
   상기 복수의 픽셀들 각각은, 제1 광전 소자 및 상기 제1 광전 소자보다 큰 제2 광전 소자를 포함하고,
   상기 컨트롤러는, 상기 제2 픽셀 그룹의 제1 광전 소자들이 상기 제2 노출 시간을 가지고 상기 제2 픽셀 그룹의 제2 광전 소자들이 상기 제2 노출 시간보다 길거나 같은 제3 노출 시간을 가지도록, 상기 드라이버를 제어하도록 구성된 것을 특징으로 하는 이미지 센서.
6. 청구항 5에 있어서,
   상기 제2 노출 시간은, 상기 제1 노출 시간 이하이고,
   상기 제3 노출 시간은, 상기 제2 노출 시간 이상인 것을 특징으로 하는 이미지 센서.
7. 청구항 5에 있어서,
   상기 제2 노출 시간은, 상기 제1 노출 시간 이상이고,
   상기 제3 노출 시간은, 상기 제2 노출 시간 이하인 것을 특징으로 하는 이미지 센서.
8. 청구항 5에 있어서,
   상기 컨트롤러는, 상기 제1 픽셀 그룹의 제1 광전 소자들 및 제2 광전 소자들이 상기 제1 노출 시간을 가지도록, 상기 드라이버를 제어하도록 구성되고,
   상기 제1 노출 시간은, 상기 제2 노출 시간보다 길고 상기 제3 노출 시간보다 짧은 것을 특징으로 하는 이미지 센서.
9. 청구항 1에 있어서,
   상기 신호 프로세서는, 상기 복수의 픽셀들 각각이 제1 변환 이득 또는 제2 변환 이득을 가지도록, 상기 디지털 신호의 값에 기초하여 상기 컨트롤러를 설정하도록 구성된 것을 특징으로 하는 이미지 센서.
10. 청구항 1에 있어서,
    상기 신호 프로세서는, 상기 제1 노출 시간 및 상기 제2 노출 시간에 기초하여 상기 제1 값 및 상기 제2 값 중 적어도 하나를 정규화 하고, 정규화된 상기 제1 값 및 상기 제2 값의 가중합을 계산하도록 구성된 것을 특징으로 하는 이미지 센서.
11. 복수의 픽셀들을 포함하는 픽셀 어레이;
    상기 픽셀 어레이를 구동하도록 구성된 드라이버;
    상기 픽셀 어레이로부터 수신된 픽셀 신호로부터 디지털 신호를 생성하도록 구성된 독출 회로;
    상기 복수의 픽셀들 중 제1 픽셀 그룹 및 제2 픽셀 그룹이 제1 노출 시간 및 제2 노출 시간을 각각 가지도록, 상기 드라이버를 제어하도록 구성된 컨트롤러; 및
    상기 디지털 신호의 값에 기초하여 조도를 식별하고, 상기 조도에 기초하여 상기 제2 픽셀 그룹 및 상기 제2 노출 시간을 식별하고, 상기 제2 노출 시간에 기초하여 상기 컨트롤러를 설정하도록 구성된 신호 프로세서를 포함하고,
    상기 제1 픽셀 그룹은, 상기 조도에 독립적인 것을 특징으로 하는 이미지 센서.
12. 청구항 11에 있어서,
    상기 제1 픽셀 그룹은, 상기 픽셀 어레이에서 등간격으로 상호 이격된 복수의 제1 행들을 포함하고,
    상기 제2 픽셀 그룹은, 상기 복수의 제2 행들 사이 복수의 제2 행들 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 센서.
13. 청구항 11에 있어서,
    상기 신호 프로세서는, 상기 제1 노출 시간 및 상기 제2 노출 시간에 기초하여 상기 제1 픽셀 그룹에 대응하는 상기 디지털 신호의 제1 값 및 상기 제2 픽셀 그룹에 대응하는 상기 디지털 신호의 제2 값을 정규화하도록 구성된 것을 특징으로 하는 이미지 센서.
14. 청구항 13에 있어서,
    상기 신호 프로세서는, 정규화된 상기 제1 값 및 상기 제2 값의 가중합에 기초하여 이미지 데이터를 생성하도록 구성된 것을 특징으로 하는 이미지 센서.
15. 청구항 13에 있어서,
    상기 신호 프로세서는, 상기 제1 값 및 상기 제2 값을 정규화하고, 정규화된 상기 제1 값 및 정규화된 상기 제2 값 사이 차이가 기준치 이상인 경우, 상기 제2 값의 가중치를 감소시키도록 구성된 것을 특징으로 하는 이미지 센서.
16. 청구항 11에 있어서,
    상기 복수의 픽셀들 각각은, 제1 광전 소자 및 상기 제1 광전 소자보다 큰 제2 광전 소자를 포함하고,
    상기 신호 프로세서는, 상기 제2 픽셀 그룹의 제1 광전 소자들이 상기 제2 노출 시간을 가지고 상기 제2 픽셀 그룹의 제2 광전 소자들이 제3 노출 시간을 가지도록, 상기 컨트롤러를 설정하도록 구성된 것을 특징으로 하는 이미지 센서.
17. 청구항 16에 있어서,
    상기 제2 노출 시간은, 상기 제1 노출 시간 이하이고,
    상기 제3 노출 시간은, 상기 제2 노출 시간 이상인 것을 특징으로 하는 이미지 센서.
18. 청구항 16에 있어서,
    상기 제2 노출 시간은, 상기 제1 노출 시간 이상이고,
    상기 제3 노출 시간은, 상기 제2 노출 시간 이하인 것을 특징으로 하는 이미지 센서.
19. 청구항 11에 있어서,
    상기 신호 프로세서는, 상기 복수의 픽셀들 각각이 제1 변환 이득 또는 제2 변환 이득을 가지도록, 상기 디지털 신호의 값에 기초하여 상기 컨트롤러를 설정하도록 구성된 것을 특징으로 하는 이미지 센서.
20. 이미지 센서에 의해서 수행되는 방법으로서,
    복수의 픽셀들을 포함하는 픽셀 어레이로부터 수신된 픽셀 신호로부터 디지털 신호를 생성하는 단계;
    제1 노출 시간 및 제2 노출 시간을 각각 가지도록, 상기 복수의 픽셀들 중 제1 픽셀 그룹 및 제2 픽셀 그룹을 구동하는 단계; 및
    상기 제1 픽셀 그룹에 대응하는 상기 디지털 신호의 제1 값 및 상기 제2 픽셀 그룹에 대응하는 상기 디지털 신호의 제2 값의 가중합에 기초하여 이미지 데이터를 생성하는 단계를 포함하고,
    상기 제1 픽셀 그룹은, 상기 조도에 독립적인 것을 특징으로 하는 방법.

Images