KR20230015161A

KR20230015161A - 촬영 장치

Info

Publication number: KR20230015161A
Application number: KR1020210096596A
Authority: KR
Inventors: 카츠히로 야하타
Original assignee: 에스케이하이닉스 주식회사
Priority date: 2021-07-22
Filing date: 2021-07-22
Publication date: 2023-01-31
Also published as: CN115696073A; US20230021729A1; JP2023016776A; US11943543B2

Abstract

본 발명의 일 실시 예에 따른 촬영 장치는, 각각이 입사광의 세기에 대응하는 픽셀 신호를 생성하는 복수의 픽셀들을 포함하고 상기 픽셀 신호에 대응하는 영상 데이터를 생성하는 이미지 센싱 장치, 상기 복수의 픽셀들 중 타겟 픽셀들에 대응하는 타겟 영역의 상기 영상 데이터를 획득하는 휘도 획득부, 상기 복수의 픽셀들 각각의 감도를 결정하는 감도 항목들 중 적어도 하나의 제어 가능한 항목을 획득하는 제어 가능 항목 획득부, 및 상기 타겟 영역의 상기 영상 데이터 및 상기 적어도 하나의 제어 가능한 항목에 기초하여 상기 적어도 하나의 제어 가능한 항목에 대한 설정치를 산출하여 제어 신호를 생성하는 설정치 산출부를 포함할 수 있다.

Description

촬영 장치{Photographing Apparatus}

본 발명은 고동적 범위(high dynamic range; HDR) 이미지를 생성하는 촬영 장치에 관한 것이다.

이미지 센싱 장치는 빛에 반응하는 광 감지 반도체 물질의 성질을 이용하여 광학 이미지를 캡쳐(capture)하는 장치이다. 자동차, 의료, 컴퓨터 및 통신 등 산업의 발전에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 마이크로 카메라 등과 같은 다양한 분야에서 고성능(high-performance) 이미지 센싱 장치에 대한 수요가 증대되고 있다.

이미지 센싱 장치는 크게 CCD(Charge Coupled Device) 이미지 센싱 장치와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센싱 장치로 구분될 수 있다. CCD 이미지 센싱 장치는 CMOS 이미지 센싱 장치에 비해 더 나은 이미지 품질을 제공하나, 더 큰 크기로 구현되고 더 많은 전력을 소비하는 경향이 있다. 반면에, CMOS 이미지 센싱 장치는 CCD 이미지 센싱 장치에 비해 더 작은 크기로 구현될 수 있고, 더 적은 전력을 소비한다. 또한, CMOS 이미지 센싱 장치는 CMOS 제조 기술을 이용하여 제조되므로, 광 감지 소자 및 신호 처리 회로를 단일 칩에 통합할 수 있으며, 이를 통해 저렴한 비용으로 소형의 이미지 센싱 장치를 생산할 수 있다. 이러한 이유로, CMOS 이미지 센싱 장치는 모바일 장치를 포함한 많은 애플리케이션을 위해 개발되고 있다.

본 발명의 기술적 사상은 다양한 방식들 중 최적의 방식을 이용하여 HDR 이미지를 생성하는 촬영 장치를 제공할 수 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 문서에 개시되는 본 발명의 일 실시 예에 따른 촬영 장치는, 각각이 입사광의 세기에 대응하는 픽셀 신호를 생성하는 복수의 픽셀들을 포함하고 상기 픽셀 신호에 대응하는 영상 데이터를 생성하는 이미지 센싱 장치, 상기 복수의 픽셀들 중 타겟 픽셀들에 대응하는 타겟 영역의 상기 영상 데이터를 획득하는 휘도 획득부, 상기 복수의 픽셀들 각각의 감도를 결정하는 감도 항목들 중 적어도 하나의 제어 가능한 항목을 획득하는 제어 가능 항목 획득부, 및 상기 타겟 영역의 상기 영상 데이터 및 상기 적어도 하나의 제어 가능한 항목에 기초하여 상기 적어도 하나의 제어 가능한 항목에 대한 설정치를 산출하여 제어 신호를 생성하는 설정치 산출부를 포함할 수 있다.

본 발명의 다른 실시예에 따른 촬영 장치는, 각각이 입사광의 세기에 대응하는 픽셀 신호를 생성하는 복수의 픽셀들을 포함하고 상기 픽셀 신호에 대응하는 영상 데이터를 생성하는 이미지 센싱 장치, 상기 영상 데이터에 기초하여 광 노출량, 노광 시간, 변환 이득 및 아날로그 이득 중 적어도 하나의 제어 가능한 항목에 대한 설정치를 산출하여 제어 신호를 생성하는 HDR 컨트롤러, 및 상기 제어 신호에 따라 상기 복수의 픽셀들 각각의 감도가 조절된 상태에서 생성된 서로 다른 감도를 갖는 이미지 데이터를 합성하여 HDR 이미지를 생성하는 이미지 신호 프로세서를 포함할 수 있다.

본 문서에 개시되는 실시 예들에 따르면, 피사체의 휘도 및 제어 가능한 항목을 파악하고 감도 제어시 하드웨어의 특성(예컨대, 응답 특성)을 반영하여 제어 가능한 항목을 제어함으로써, 노이즈를 최소화하면서도 최대한의 동적 범위를 갖는 HDR 이미지를 생성할 수 있다

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 본 발명의 일 실시예에 따른 촬영 장치를 나타낸 도면이다.
도 2는 고감도 픽셀과 저감도 픽셀에 대해 조도에 따른 응답을 예시적으로 나타낸 도면이다.
도 3은 도 1에 도시된 이미지 센싱 장치와 HDR 컨트롤러를 보다 상세히 나타낸 블록도이다.
도 4는 도 3의 픽셀 어레이에 포함된 픽셀의 일 실시예를 나타낸 회로도이다.
도 5는 광 투과율의 차이로 픽셀의 감도를 조절하는 일 실시예를 설명하기 위한 도면이다.
도 6은 노광 시간의 차이로 픽셀의 감도를 조절하는 일 실시예를 설명하기 위한 도면이다.
도 7은 변환 이득의 차이로 픽셀의 감도를 조절하는 일 실시예를 설명하기 위한 도면이다.
도 8은 아날로그 이득의 차이로 픽셀의 감도를 조절하는 일 실시예를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 촬영 장치의 HDR 이미지 생성 방법을 나타낸 흐름도이다.
도 10은 도 9의 S30 단계를 보다 상세히 나타낸 흐름도이다.

이하, 첨부된 도면을 참조하여 다양한 실시 예가 설명될 것이다. 그러나, 본 개시는 특정한 실시 예에 한정되지 않고, 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 본 개시의 실시 예는 본 개시를 통해 직간접적으로 인식될 수 있는 다양한 효과를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 촬영 장치를 나타낸 도면이다. 도 2는 고감도 픽셀과 저감도 픽셀에 대해 조도에 따른 응답을 예시적으로 나타낸 도면이다.

도 1을 참조하면, 촬영 장치(1)는 정지 영상을 촬영하는 디지털 스틸 카메라나 동영상을 촬영하는 디지털 비디오 카메라 등의 장치를 의미할 수 있다. 예를 들어, 촬영 장치(1)는 디지털 일안 리플렉스 카메라(Digital Single Lens Reflex; DSLR), 미러리스(mirrorless) 카메라 또는 스마트폰으로 구현될 수 있으나, 이에 한정되는 것은 아니며 촬영 장치(1)는 렌즈 및 촬상 소자를 포함하여 피사체를 촬영하고 이미지를 생성할 수 있는 장치를 포함하는 개념일 수 있다.

촬영 장치(1)는 렌즈(10), 조리개(20), 렌즈 드라이버(30), 조리개 드라이버(40), 이미지 센싱 장치(100) 및 이미지 신호 프로세서(200)를 포함할 수 있다.

렌즈(10)는 광축을 기준으로 정렬된 적어도 하나의 렌즈를 포함할 수 있다. 렌즈(10)는 이미지 센싱 장치(100)의 전방에 배치되어 입사광을 이미지 센싱 장치(100)로 전달할 수 있으며, 렌즈 드라이버(30)에 의해 위치가 조절될 수 있다. 예를 들어, 렌즈(10)는 렌즈 드라이버(30)에 의해 광축을 따라 이동할 수 있다.

조리개(20)는 이미지 센싱 장치(100)의 전단에 배치되고 조리개 드라이버(40)에 의해 개폐 정도가 조절되어, 이미지 센싱 장치(100)로 입사되는 광량을 조절할 수 있다. 도 1에서 조리개(20)는 렌즈(10)를 통과한 입사광을 수신하도록 렌즈(10)의 후단에 위치하는 것으로 도시되어 있으나, 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 조리개(20)는 렌즈(10)에 포함된 렌즈들의 사이에 위치하거나, 렌즈(10)의 전단에 위치할 수도 있다.

렌즈(10) 및 조리개(20)를 투과한 입사광은 이미지 센싱 장치(100)의 수광면으로 입사되어 피사체의 상을 결상할 수 있다.

렌즈 드라이버(30)는 이미지 신호 프로세서(200)로부터 제공된 제어 신호(CS)에 따라 렌즈(10)의 위치를 조절할 수 있다. 렌즈 드라이버(30)는 렌즈(10)의 위치를 조절하여, 오토 포커싱, 줌 변경, 초점 변경 등의 동작을 수행할 수 있다.

조리개 드라이버(40)는 이미지 신호 프로세서(200)로부터 제공된 제어 신호(CS)에 따라 조리개(20)의 개폐 정도를 조절할 수 있다. 조리개 드라이버(40)는 조리개(20)의 개폐 정도를 조절하여, 이미지 센싱 장치(100)로의 광 노출량을 제어할 수 있다.

이미지 센싱 장치(100)는 입사광을 전기 신호로 변환하는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이미지 센싱 장치(100)는 이미지 신호 프로세서(200)에 의해 온/오프(on/off), 노광 시간(exposure time), 변환 이득(conversion gain), 아날로그 이득(analog gain) 등이 조절될 수 있다. 이미지 센싱 장치(100)는 픽셀(pixel) 단위로 입사광을 전기 신호로 변환하여 영상 데이터(IDATA)를 생성하게 되는데, 이미지 센싱 장치(100)는 감도(sensitivity)가 서로 다른 복수의 픽셀들을 포함할 수 있다. 여기서, 감도는 입사광의 세기의 증가량에 대한 영상 데이터(IDATA)의 증가량(또는 응답(response)의 증가량)을 의미할 수 있다. 즉, 감도가 높을수록 입사광의 세기의 증가량에 대한 영상 데이터(IDATA)의 증가량이 커지게 되고, 감도가 낮을수록 입사광의 세기의 증가량에 대한 영상 데이터(IDATA)의 증가량이 작아지게 된다. 감도는 광 투과량, 변환 이득, 노광 시간, 아날로그 이득 등에 의해 정해질 수 있다. 이미지 센싱 장치(100)의 보다 상세한 구성 및 동작은 도 3을 참조하여 후술하기로 한다.

이미지 신호 프로세서(200)는 이미지 센싱 장치(100)로부터 입력되는 영상 데이터(IDATA)를 처리하고, 처리 결과에 따라 또는 외부 입력 신호에 따라 촬영 장치(10)의 각 구성을 제어할 수 있다. 이미지 신호 프로세서(200)는 영상 데이터(IDATA)에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색 필터 배열 보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 수행하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있고, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축 형식은 가역 형식 또는 비가역 형식일 수 있다. 압축 형식의 예로서, 정지 영상의 경우, JPEG(Joint Photographic Experts Group) 형식이나 JPEG 2000 형식 등이 이용될 수 있다. 또한, 동영상의 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일이 생성될 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.

또한, 이미지 신호 프로세서(200)는 감도가 서로 다른 적어도 2 이상의 이미지를 합성하여 HDR 이미지를 생성할 수 있다. HDR 이미지를 생성하는 구성은 HDR 컨트롤러(300)와 구별되는 이미지 합성부로 정의될 수 있다. 예를 들어, 이미지 센싱 장치(100)는 상대적으로 감도가 낮은 픽셀(저감도 픽셀)로부터 생성되는 저감도 이미지 및 상대적으로 감도가 높은 픽셀(고감도 픽셀)로부터 생성되는 고감도 이미지를 출력할 수 있고, 이미지 신호 프로세서(200)는 저감도 이미지 및 고감도 이미지를 합성하여 HDR 이미지를 생성할 수 있다. 여기서, 저감도와 고감도는 상대적인 개념이며, 이미지 센싱 장치(100)는 n(n은 2 이상의 정수)개 이상의 서로 다른 감도를 갖는 영상 데이터(IDATA)를 생성할 수 있고, 이미지 신호 프로세서(200)는 이들을 이용해 HDR 이미지를 생성할 수 있다.

이미지 신호 프로세서(200)로부터 출력된 HDR 이미지는 사용자의 요청에 따라 또는 자동적으로 촬영 장치(1)의 내부 메모리 또는 외장 메모리에 저장되거나, 디스플레이를 통해 표시될 수 있다.

또한, 이미지 신호 프로세서(200)는 불선명 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등을 수행할 수 있다.

아울러, 이미지 신호 프로세서(200)는 디스플레이를 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 이미지 신호 프로세서(200)는 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 생성 및 영상의 합성 처리 등을 행할 수 있다.

이미지 신호 프로세서(200)는 실시간으로 입력되는 영상 데이터(IDATA)에 의해 자동으로 생성되는 제어 정보 또는 사용자의 조작에 의해 수동으로 입력되는 제어 정보에 따라 렌즈 드라이버(30), 조리개 드라이버(40) 및 이미지 센싱 장치(100)를 제어할 수 있다

특히, 이미지 신호 프로세서(200)는 HDR 컨트롤러(300)를 포함할 수 있는데, 다른 실시예에 따라 HDR 컨트롤러(300)는 이미지 신호 프로세서(200)와 독립적으로 구현될 수도 있다. 예컨대, HDR 컨트롤러(300)는 이미지 센싱 장치(100)에 포함될 수 있다.

HDR 컨트롤러(300)는 이미지 센싱 장치(100)의 픽셀들이 최적의 동적 범위(dynamic range)를 가질 수 있도록 조리개 드라이버(40) 및 이미지 센싱 장치(100) 중 적어도 하나를 제어할 수 있다.

도 2를 참조하면, 입사광의 세기의 증가에 따른 응답의 증가량이 상대적으로 큰 픽셀인 고감도 픽셀과, 입사광의 세기의 증가에 따른 응답의 증가량이 상대적으로 작은 픽셀인 저감도 픽셀에 대해, 해당 픽셀로 입사되는 입사광의 세기에 따른 고감도 픽셀의 응답과 저감도 픽셀의 응답이 도시되어 있다. 여기서, 응답은 해당 픽셀의 영상 데이터(IDATA)를 의미할 수 있다.

응답은 SNR(signal to noise ratio) 한계 레벨(SNR limit)과 포화 레벨(saturation)을 가질 수 있다.

SNR 한계 레벨은 미리 정해진 기준 SNR(reference SNR)을 만족시킬 수 있는 응답의 임계 값을 의미할 수 있다. SNR 한계 레벨 미만의 응답은 기준 SNR을 만족시킬 수 없는 무효 응답이 되고, SNR 한계 레벨 이상의 응답은 기준 SNR을 만족시킬 수 있는 유효 응답이 될 수 있다. 기준 SNR은 이미지 센싱 장치(100)의 특성 및 시스템의 요구 사양을 고려하여 실험적으로 결정된 값일 수 있다.

포화 레벨은 입사광의 세기를 나타낼 수 있는 최대 응답을 의미할 수 있다. 포화 레벨은 픽셀이 입사광의 세기를 광전하로 변환할 수 있는 능력(예컨대, 광전 변환 소자의 용량), 광전하를 아날로그 신호로 변환할 수 있는 능력(예컨대, 플로팅 디퓨전 영역의 용량) 및 아날로그 신호를 디지털 신호로 변환할 수 있는 능력(예컨대, 아날로그 디지털 컨버터의 입력 범위)에 의해 결정될 수 있다. 입사광의 세기가 증가할 때, 응답이 포화 레벨에 도달하기 전까지는 응답이 입사광의 세기에 따라 증가될 수 있다. 그러나, 응답이 포화 레벨에 도달한 뒤에는 입사광의 세기가 증가하여도 응답은 포화 레벨을 초과하여 증가할 수 없고, 포화 레벨과 동일한 값을 가질 수 있다.

픽셀의 유효 응답을 기준 SNR을 만족시키면서 입사광의 세기를 나타낼 수 있는 응답으로 정의하면, 픽셀의 유효 응답에 대응하는 입사광의 세기의 범위는 픽셀의 동적 범위(dynamic range)로 정의될 수 있다. 즉, 픽셀의 동적 범위는 픽셀이 유효 응답을 가질 수 있는 입사광의 세기의 범위를 의미할 수 있다.

입사광의 세기의 증가에 따른 응답의 증가량이 상대적으로 큰 픽셀인 고감도 픽셀의 응답은 입사광의 세기의 증가에 대응하여 상대적으로 높은 기울기로 증가하고, 포화 레벨에 도달한 뒤 입사광의 세기와 무관하게 포화 레벨에 해당하는 레벨을 가질 수 있다.

입사광의 세기의 증가에 따른 응답의 증가량이 상대적으로 작은 픽셀인 저감도 픽셀의 응답은 입사광의 세기의 증가에 대응하여 상대적으로 낮은 기울기로 증가하고, 포화 레벨에 도달한 뒤 입사광의 세기와 무관하게 포화 레벨에 해당하는 레벨을 가질 수 있다.

도 2에 도시된 바와 같이, 고감도 픽셀의 동적 범위(DR_H)의 하한 값은 저감도 픽셀의 동적 범위(DR_L)의 하한 값보다 작고, 고감도 픽셀의 동적 범위(DR_H)의 상한 값은 저감도 픽셀의 동적 범위(DR_L)의 상한 값보다 작을 수 있다. 따라서, 입사광의 세기가 상대적으로 작은 조도 범위(저조도)에서는 고감도 픽셀이 입사광의 세기를 감지하는데 보다 적합하고, 입사광의 세기가 상대적으로 큰 조도 범위(고조도)에서는 저감도 픽셀이 입사광의 세기를 감지하는데 보다 적합할 수 있다.

저조도에 적합한 고감도 픽셀과 고조도에 적합한 저감도 픽셀 각각의 응답을 이용하여 HDR이 구현될 수 있다. 즉, 고감도 픽셀 또는 저감도 픽셀 중 어느 하나만을 이용하는 경우에 비해, 고감도 픽셀 및 저감도 픽셀을 함께 이용하게 되면 전체 픽셀 어레이는 고감도 픽셀의 동적 범위의 하한 값에서 저감도 픽셀의 동적 범위의 상한 값까지의 범위에 해당하는 고동적 범위를 가질 수 있다. 이를 위해 고감도 픽셀의 동적 범위의 적어도 일부와 저감도 픽셀의 동적 범위의 적어도 일부는 서로 겹쳐질 수 있다.

고감도 픽셀 및 저감도 픽셀을 이용해 고동적 범위에 해당하는 HDR 이미지를 합성하는 방법은 고감도 픽셀의 응답과 저감도 픽셀의 응답을 보간(interpolation) 및 연산(예컨대, 합산)하여 합성하는 방법, 저조도에서는 고감도 픽셀의 응답에 기초하여 이미지를 생성하고 고조도에서는 저감도 픽셀의 응답에 기초하여 이미지를 생성하는 방법 등이 이용될 수 있으나 본 발명의 범위는 이에 한정되지 않는다.

도 2에 나타난 바와 같이, 픽셀의 감도(즉, 응답의 기울기)를 조절하게 되면, 해당 픽셀의 동적 범위가 조절될 수 있다. 픽셀의 감도는 픽셀의 감도를 결정하는 감도 항목인 광 노출량, 광 투과율(light transmittance), 노광 시간, 변환 이득 및 아날로그 이득 중 적어도 하나에 의해 결정될 수 있다. 따라서, HDR 컨트롤러(300)는 광 노출량, 광 투과율, 노광 시간, 변환 이득 및 아날로그 이득(즉, 감도 항목들) 중 제어 가능한 항목을 조절함으로써 픽셀의 동적 범위를 조절할 수 있다.

동적 범위를 넓게 할수록, 넓은 조도 범위의 입사광에 대응하는 유효 응답을 획득할 수 있다는 장점이 있으나, 동적 범위를 넓힘에 따른 부작용이 커질 수 있다. 예를 들어, 노광 시간을 과도하게 조절하게 되면 픽셀들 간에 입사광을 캡쳐하는 시점이 크게 달라지게 되므로, 빠르게 움직이는 피사체에 대한 모션 아티팩트(motion artifact)가 증가할 수 있다. 또는, 매우 밝은 장면을 촬영하면서 동적 범위를 저조도에 대응하는 범위까지 불필요하게 확장하게 되면, 고감도 픽셀들의 응답은 포화되어 버리므로 전체적인 이미지의 품질이 저하될 수 있다.

따라서, HDR 컨트롤러(300)는 장면의 특성 및 제어 가능한 항목의 특성에 기초하여, 이미지 센싱 장치(100)의 픽셀들이 최적의 동적 범위를 가질 수 있도록 조리개 드라이버(40) 및 이미지 센싱 장치(100) 중 적어도 하나를 제어할 수 있다.

도 3은 도 1에 도시된 이미지 센싱 장치와 HDR 컨트롤러를 보다 상세히 나타낸 블록도이다.

도 3을 참조하면, 이미지 센싱 장치(100)는 픽셀 어레이(pixel array, 110), 로우 드라이버(row driver, 120), 상관 이중 샘플러(Correlate Double Sampler; CDS, 130), 아날로그-디지털 컨버터(Analog-Digital Converter; ADC, 140), 출력 버퍼(output buffer, 150), 컬럼 드라이버(column driver, 160) 및 타이밍 컨트롤러(timing controller, 170)를 포함할 수 있다. 여기서, 이미지 센싱 장치(100)의 각 구성은 예시적인 것에 불과하며, 필요에 따라 적어도 일부의 구성이 추가되거나 생략될 수 있다.

픽셀 어레이(110)는 복수의 로우들(rows) 및 복수의 컬럼들(columns)로 배열된 복수의 픽셀들을 포함할 수 있다. 일 실시예에서, 복수의 픽셀들은 로우들 및 컬럼들을 포함하는 2차원 픽셀 어레이로 배열될 수 있다. 다른 실시예에서, 복수의 단위 이미지 픽셀들은 3차원 픽셀 어레이로 배열될 수 있다. 복수의 픽셀들은 픽셀 단위로 또는 픽셀 그룹 단위로 광 신호를 전기적 신호로 변환할 수 있으며, 픽셀 그룹 내 단위 픽셀들은 적어도 특정 내부 회로를 공유할 수 있다. 픽셀 어레이(110)는 로우 드라이버(120)로부터 로우 선택 신호, 픽셀 리셋 신호 및 전송 신호 등을 포함하는 픽셀 제어 신호를 수신할 수 있으며, 픽셀 제어 신호에 의하여 픽셀 어레이(110)의 해당 단위 픽셀은 로우 선택 신호, 픽셀 리셋 신호 및 전송 신호에 대응하는 동작을 수행하도록 활성화될 수 있다.

로우 드라이버(120)는 타이밍 컨트롤러(170)에 의해 공급되는 명령들 및 제어 신호들에 기초하여 해당 로우에 포함된 단위 픽셀들에 대해 특정 동작들을 수행하도록 픽셀 어레이(110)를 활성화할 수 있다. 일 실시예에서, 로우 드라이버(120)는 픽셀 어레이(110)의 적어도 하나의 로우에 배열된 적어도 하나의 단위 픽셀을 선택할 수 있다. 로우 드라이버(120)는 복수의 로우들 중 적어도 하나의 로우를 선택하기 위하여 로우 선택 신호를 생성할 수 있다. 로우 드라이버(120)는 선택된 적어도 하나의 로우에 대응하는 픽셀들에 대해 픽셀 리셋 신호 및 전송 신호를 순차적으로 인에이블시킬 수 있다. 이에 따라, 선택된 로우의 픽셀들 각각으로부터 생성되는 아날로그 형태의 기준 신호와 영상 신호가 순차적으로 상관 이중 샘플러(130)로 전달될 수 있다. 여기서, 기준 신호는 단위 픽셀의 센싱 노드(예컨대, 플로팅 디퓨전 노드)가 리셋되었을 때 상관 이중 샘플러(130)로 제공되는 전기적 신호이고, 영상 신호는 단위 픽셀에 의해 생성된 광전하가 센싱 노드에 축적되었을 때 상관 이중 샘플러(130)로 제공되는 전기적 신호일 수 있다. 픽셀 고유의 리셋 노이즈(reset noise)를 나타내는 기준 신호와, 입사광의 세기를 나타내는 영상 신호는 픽셀 신호로 통칭될 수 있다.

CMOS 이미지 센싱 장치는 두 샘플들 사이의 차이를 제거하기 위해 픽셀 신호를 두 번 샘플링 함으로써, 고정 패턴 노이즈와 같은 픽셀의 원치 않는 오프셋 값을 제거할 수 있도록 상관 이중 샘플링을 이용할 수 있다. 일 예로, 상관 이중 샘플링은 입사광에 의해 생성된 광전하가 센싱 노드에 축적되기 전후로 획득된 픽셀 출력 전압들을 비교함으로써, 원치 않는 오프셋 값을 제거하여 오직 입사광에 기초하는 픽셀 출력 전압이 측정될 수 있다. 일 실시예에서, 상관 이중 샘플러(130)는 픽셀 어레이(110)로부터 복수의 컬럼 라인들 각각에 제공되는 기준 신호와 영상 신호를 순차적으로 샘플링 및 홀딩(sampling and holding)할 수 있다. 즉, 상관 이중 샘플러(130)는 픽셀 어레이(110)의 컬럼들 각각에 대응하는 기준 신호와 영상 신호의 레벨을 샘플링하고 홀딩할 수 있다.

상관 이중 샘플러(130)는 타이밍 컨트롤러(170)로부터의 제어 신호에 기초하여 컬럼들 각각의 기준 신호와 영상 신호를 상관 이중 샘플링 신호로서 ADC(140)로 전달할 수 있다.

ADC(140)는 상관 이중 샘플러(130)로부터 출력되는 각 컬럼에 대한 상관 이중 샘플링 신호를 디지털 신호로 변환하여 출력할 수 있다. 일 실시예에서, ADC(140)는 컬럼들 각각을 위한 상관 이중 샘플러(130)에 의해 생성된 상관 이중 샘플링 신호를 디지털 신호로 변환하여 출력할 수 있다.

ADC(140)는 픽셀 어레이(110)의 컬럼들 각각에 대응하는 복수의 컬럼 카운터들을 포함할 수 있다. 픽셀 어레이(110)의 각 컬럼은 각 컬럼 카운터에 연결되며, 영상 데이터는 컬럼 카운터들을 이용하여 컬럼들 각각에 대응되는 상관 이중 샘플링 신호를 디지털 신호로 변환함에 의해 생성될 수 있다. 다른 실시예에 따라, ADC(140)는 하나의 글로벌 카운터를 포함하고, 글로벌 카운터에서 제공되는 글로벌 코드를 이용하여 컬럼들 각각에 대응되는 상관 이중 샘플링 신호를 디지털 신호로 변환할 수 있다.

출력 버퍼(150)는 ADC(140)에서 제공되는 각각의 컬럼 단위의 영상 데이터(IDATA)를 일시적으로 홀딩하여 출력할 수 있다. 출력 버퍼(150)는 타이밍 컨트롤러(170)의 제어 신호에 기초하여 ADC(140)로부터 출력되는 영상 데이터(IDATA)를 일시 저장할 수 있다. 출력 버퍼(150)는 이미지 센싱 장치(100)와 연결된 다른 장치 사이의 전송 속도(또는 처리 속도)의 차이를 보상해주는 인터페이스로서 동작할 수 있다.

컬럼 드라이버(160)는 타이밍 컨트롤러(170)의 제어 신호에 기초하여 출력 버퍼(150)의 컬럼을 선택하고, 출력 버퍼(150)의 선택된 컬럼에 일시 저장된 영상 데이터(IDATA)가 순차적으로 출력되도록 제어할 수 있다. 일 실시예에서, 컬럼 드라이버(160)는 타이밍 컨트롤러(170)로부터 어드레스 신호를 수신할 수 있으며, 컬럼 드라이버(160)는 어드레스 신호를 기반으로 컬럼 선택 신호를 생성하여 출력 버퍼(150)의 컬럼을 선택함으로써, 출력 버퍼(150)의 선택된 컬럼으로부터 영상 데이터(IDATA)가 외부로 출력되도록 제어할 수 있다.

타이밍 컨트롤러(170)는 로우 드라이버(120), 상관 이중 샘플러(130), ADC(140), 출력 버퍼(150) 및 컬럼 드라이버(160) 중 적어도 하나를 제어할 수 있다.

타이밍 컨트롤러(170)는 이미지 센싱 장치(100)의 각 구성의 동작에 요구되는 클럭 신호, 타이밍 컨트롤을 위한 제어 신호, 및 로우 또는 컬럼을 선택하기 위한 어드레스 신호들을 로우 드라이버(120), 상관 이중 샘플러(130), ADC(140), 출력 버퍼(150) 및 컬럼 드라이버(160) 중 적어도 하나에 제공할 수 있다. 일 실시예에 따라, 타이밍 컨트롤러(170)는 로직 제어회로(Logic control circuit), 위상 고정 루프(Phase Lock Loop, PLL) 회로, 타이밍 컨트롤 회로(timing control circuit) 및 통신 인터페이스 회로(communication interface circuit) 등을 포함할 수 있다.

타이밍 컨트롤러(170)는 픽셀 어레이(110)의 픽셀들 각각의 감도를 제어할 수 있다. 픽셀들 각각의 감도는 광 투과율, 노광 시간, 변환 이득 및 아날로그 이득에 의해 결정될 수 있다. 광 투과율은 픽셀을 향해 입사되는 광의 세기에 대한 픽셀 내부에서 광을 전하로 변환하는 소자(후술할 광전 변환 소자)로 도달하는 광의 세기의 비율을 의미할 수 있다. 노광 시간은 픽셀로 입사되는 광을 전하로 변환하는 시간을 의미할 수 있다. 변환 이득은 픽셀에서 생성된 전하의 양에 대해 전하가 변환된 픽셀 신호의 레벨(즉, 전압)의 비율을 의미할 수 있다. 아날로그 이득은 픽셀로부터 출력된 픽셀 신호의 레벨에 대해 픽셀 신호가 변환된 디지털 값(즉, 영상 데이터)의 비율을 의미할 수 있다. 광 투과율이 높을수록, 노광 시간이 짧을수록, 변환 이득이 높을수록, 또는 아날로그 이득이 높을수록, 픽셀의 감도는 높아질 수 있다. 반대로, 광 투과율이 낮을수록, 노광 시간이 길수록, 변환 이득이 낮을수록, 또는 아날로그 이득이 낮을수록, 픽셀의 감도는 낮아질 수 있다.

광 투과율은 픽셀마다 미리 고정될 수 있고, 노광 시간, 변환 이득 및 아날로그 이득은 제어 가능한 항목이 될 수 있다. 타이밍 컨트롤러(170)는 각 픽셀의 노광 시간 또는 변환 이득을 제어하기 위해, 픽셀 어레이(110)에 제어 신호를 공급하는 로우 드라이버(120)를 제어할 수 있다. 또한, 타이밍 컨트롤러(170)는 각 픽셀의 아날로그 이득을 제어하기 위해, 아날로그 디지털 변환을 수행하는 ADC(140)를 제어할 수 있다.

타이밍 컨트롤러(170)가 픽셀들 각각의 감도를 제어하기 위해 노광 시간, 변환 이득 및 아날로그 이득을 제어하는 방법은 도 6 이하를 참조하여 후술하기로 한다.

HDR 컨트롤러(300)는 휘도 획득부(luminance acquisition unit, 310), 제어 가능 항목 획득부(controllable item acquisition unit, 320) 및 설정치 계산부(set value calculation unit, 330)를 포함할 수 있다.

휘도 획득부(310)는 이미지 센싱 장치(100)가 생성한 영상 데이터(IDATA)에 기초하여 장면 중 타겟 영역의 휘도를 획득할 수 있다. 여기서, 장면은 이미지 센싱 장치(100)가 한번에 촬영한 프레임(frame)에 대응하는 영상 데이터(IDATA)를 의미할 수 있다. 즉, 장면은 픽셀 어레이(110) 전체에서 한번에 캡쳐된 이미지이며, 장면의 적어도 일부인 타겟 영역에 대응하는 픽셀들은 타겟 픽셀들로 정의될 수 있다. 타겟 영역은 장면에 포함된 영역으로서 사용자에 의해 지정된 영역(예컨대, 특정 피사체), 장면에서 높은 휘도를 갖는 영상 데이터(IDATA)가 집중된 영역(즉, 가장 밝은 영역), 또는 장면 전체에 해당하는 영역을 의미할 수 있다. 또한, 휘도는 영상 데이터(IDATA)의 값을 의미할 수 있다. 다른 실시예에 따라, 휘도 획득부(310)는 별도의 장치(예컨대, 측광 센서, 다른 카메라 장치)를 이용해 타겟 영역의 휘도를 획득할 수도 있다.

제어 가능 항목 획득부(320)는 광 노출량, 노광 시간, 변환 이득 및 아날로그 이득 중에서 제어 가능한 항목을 획득할 수 있다. 여기서, 광 노출량은 조리개 드라이버(40)의 제어에 따라 조리개(20)의 개방 정도에 따라 결정되는 값일 수 있다. 광 노출량, 노광 시간, 변환 이득 및 아날로그 이득 각각은 미리 고정되거나 제어 가능할 수 있다. 예를 들어, 야간 촬영의 경우 시스템(예컨대, 애플리케이션 프로세서(application processor))은 광 노출량을 최대로 고정할 수 있다. 또는 하나의 프레임이 할당된 시간이 짧은 동영상 촬영 또는 고속 촬영 시, 시스템은 노광 시간을 일정 시간 이하로 제한하거나 강제로 고정할 수 있다. 또는 이미지 센싱 장치(100)의 제어 및 이미지 처리에 소요되는 전력 소모를 절감하기 위해 시스템은 변환 이득 및 아날로그 이득 중 적어도 하나에 대한 제어를 제한할 수 있다.

설정치 산출부(330)는 휘도 획득부(310)로부터 수신되는 타겟 영역의 휘도, 및 제어 가능 항목 획득부(320)로부터 수신되는 제어 가능한 항목에 기초하여, 제어 가능한 항목에 대한 설정치를 산출하고, 산출된 설정치를 나타내는 제어 신호(CS)를 생성할 수 있다. 여기서, 설정치는 제어 가능한 항목(광 노출량, 노광 시간, 변환 이득, 아날로그 이득)의 제어를 위한 정보를 의미할 수 있다.

설정치 산출부(330)의 상세한 동작은 도 10을 참조하여 후술하기로 한다.

도 4는 도 3의 픽셀 어레이에 포함된 픽셀의 일 실시예를 나타낸 회로도이다.

도 4를 참조하면, 픽셀(PX)은 픽셀 어레이(110)에 포함된 복수의 픽셀들 중 어느 하나일 수 있고, 도 4에서는 하나의 픽셀(PX)에 대해 설명하나, 다른 픽셀들도 픽셀(PX)과 실질적으로 동일한 구조 및 동작을 가질 수 있다.

픽셀(PX)은 광전 변환 소자(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 플로팅 디퓨전 영역(FD), CG(conversion gain) 트랜지스터(CX), 제1 내지 제2 캐패시터(C1~C2), 소스팔로워 트랜지스터(SF) 및 선택 트랜지스터(SX)를 포함할 수 있다. 도 4 에서는 픽셀(PX)은 하나의 광전 변환 소자(PD)를 포함하는 것으로 예시되었으나, 다른 실시예에 따라 복수의 광전 변환 소자들을 갖는 공유 픽셀(shared pixel)일 수 있다. 이 경우, 복수의 광전 변환 소자들에 대응하여 복수의 전송 트랜지스터들이 구비될 수 있다.

광전 변환 소자(PD)는 입사광의 세기에 대응하는 광전하를 생성 및 축적할 수 있다. 예를 들어, 광전 변환 소자(PD)는 포토 다이오드, 포토 트랜지스터, 포토 게이트, 핀형(pinned) 포토 다이오드 또는 이들의 조합으로 구현될 수 있다.

광전 변환 소자(PD)가 포토 다이오드로 구현되는 경우, 제1 도전형(예컨대, P형)을 갖는 기판 내에 제2 도전형(예컨대, N형)의 불순물로 도핑된 영역일 수 있다.

전송 트랜지스터(TX)는 광전 변환 소자(PD)와 플로팅 디퓨전 영역(FD) 사이에 연결될 수 있다. 전송 트랜지스터(TX)는 전송 제어 신호(TG)에 응답하여 턴온 또는 턴오프될 수 있으며, 턴온된 전송 트랜지스터(TX)는 광전 변환 소자(PD)에 축적된 광전하를 플로팅 디퓨전 영역(FD)으로 전달할 수 있다.

리셋 트랜지스터(RX)는 전원 전압(VDD)과 플로팅 디퓨전 영역(FD) 사이에 연결되고, 리셋 제어 신호(RG)에 응답하여 플로팅 디퓨전 영역(FD)의 전압을 전원 전압(VDD)으로 리셋시킬 수 있다.

플로팅 디퓨전 영역(FD)은 전송 트랜지스터(TX)로부터 전달되는 광전하를 축적할 수 있다. 플로팅 디퓨전 영역(FD)은 접지 단자에 연결된 제1 캐패시터(C1)에 연결될 수 있다. 예를 들어, 플로팅 디퓨전 영역(FD)은 제1 도전형(예컨대, P형)을 갖는 기판 내에 제2 도전형(예컨대, N형)의 불순물로 도핑된 영역일 수 있고, 기판과 불순물 도핑 영역은 정션 캐패시터인 제1 캐패시터(C1)로 모델링될 수 있다.

CG 트랜지스터(CX)는 플로팅 디퓨전 영역(FD)과 제2 캐패시터(C2) 사이에 연결되고, CG 제어 신호(CG)에 응답하여 제2 캐패시터(C2)를 선택적으로 플로팅 디퓨전 영역(FD)에 연결할 수 있다. 제2 캐패시터(C2)는 MIM(Metal-Insulator-Metal) 캐패시터, MIP(Metal-Insulator-Polysilicon) 캐패시터, MOS(Metal-Oxide-Semiconductor) 캐패시터, 정션 캐패시터 중 적어도 하나로 구성될 수 있다. CG 트랜지스터(CX)가 턴오프되면, 플로팅 디퓨전 영역(FD)은 제1 캐패시터(C1)의 정전 용량에 해당하는 정전 용량을 가질 수 있다. CG 트랜지스터(CX)가 턴온되면, 플로팅 디퓨전 영역(FD)은 제1 캐패시터(C1)의 정전 용량과 제2 캐패시터(C2)의 정전 용량의 합에 해당하는 정전 용량을 가질 수 있다. 즉, CG 트랜지스터(CX)는 플로팅 디퓨전 영역(FD)의 정전 용량을 제어할 수 있다.

도 4에서는 CG 트랜지스터(CX)가 하나인 경우를 예시적으로 설명하였으나, 다른 실시예에 따라 CG 트랜지스터가 복수 개일 수 있다. 이 경우, 플로팅 디퓨전 영역(FD)의 정전 용량은 보다 다양한 값을 가질 수 있다.

소스팔로워 트랜지스터(SF)는 전원 전압(VDD)과 선택 트랜지스터(SX) 사이에 연결되고, 광전 변환 소자(PD)에 축적된 광전하를 전달받은 플로팅 디퓨전 영역(FD)의 전기적 포텐셜의 변화를 증폭하여 선택 트랜지스터(SX)로 전달할 수 있다.

선택 트랜지스터(SX)는 소스팔로워 트랜지스터(SF)와 출력 신호 라인 사이에 연결되고, 선택 제어 신호(SEL)에 의해 턴온되어 소스팔로워 트랜지스터(SF)로부터 전달되는 전기적 신호를 픽셀 신호(PS)로서 출력할 수 있다.

도 5는 광 투과율의 차이로 픽셀의 감도를 조절하는 일 실시예를 설명하기 위한 도면이다.

도 5를 참조하면, 도 5의 좌측에는 광 투과율이 상대적으로 높은 고 투과율 픽셀(HPX)과 광 투과율이 상대적으로 낮은 저 투과율 픽셀(LPX)이 배치되는 실시예가 도시되어 있다. 즉, 3개의 고 투과율 픽셀(HPX)과 1개의 저 투과율 픽셀(LPX)이 2x2 매트릭스(단위 매트릭스)로 배열될 수 있다. 고 투과율 픽셀들(HPX)과 저 투과율 픽셀(LPX) 각각은 도 4에 상응하는 구조를 가질 수 있다. 다른 실시예에 따라, 고 투과율 픽셀들(HPX)과 저 투과율 픽셀(LPX) 각각은 광전 변환 소자 및 전송 트랜지스터를 독립적으로 포함하되, 다른 구성들은 4개의 픽셀들이 공유하는 공유 픽셀 구조로 구현될 수 있다.

일 실시예에 따라, 고 투과율 픽셀들(HPX)과 저 투과율 픽셀(LPX)은 서로 동일한 컬러(예컨대, 레드, 블루 또는 그린)의 광을 감지하는 픽셀일 수 있다. 이 경우, 픽셀 어레이(110)는 2x2 매트릭스의 단위로 쿼드 베이어 패턴 구조를 형성할 수 있다.

도 5의 우측에는 서로 인접하게 배치된 고 투과율 픽셀(HPX)과 저 투과율 픽셀(LPX)을 절단선(A-A')을 따라 절단한 단면의 일 예가 도시되어 있다.

고 투과율 픽셀(HPX)과 저 투과율 픽셀(LPX)의 단면은 기판(510), 광전 변환 소자(520), 광학 필터(530), 마이크로 렌즈(540) 및 광 차단 구조(550)를 포함할 수 있다.

기판(510)은 반도체 기판으로서, 예를 들어, P형 또는 N형 벌크(bulk) 기판, P형 벌크 기판에 P형 또는 N형 에피택셜층(epitaxial layer)이 성장된 기판, 또는 N형 벌크 기판에 P형 또는 N형 에피택셜층이 성장된 기판일 수 있다.

광전 변환 소자(520)는 기판(510) 내부에 형성될 수 있고, 도 4의 광전 변환 소자(PD)에 해당할 수 있다. 즉, 광전 변환 소자(520)는 마이크로 렌즈(540)와 광학 필터(530)를 통과한 입사광의 세기에 대응하는 광전하를 생성 및 축적할 수 있다.

광학 필터(530)는 투과 파장 대역의 광(예컨대, 레드(Red), 그린(Green), 블루(Blue), 마젠타(Magenta), 옐로우(Yellow), 사이언(Cyan), 적외선(infrared) 등)을 선택적으로 투과시킬 수 있다. 여기서, 투과 파장 대역은 해당 광학 필터가 선택적으로 투과시키려는 광에 대응하는 파장 대역을 의미할 수 있다. 예를 들어, 광학 필터(530)는 특정 컬러에 대응하는 유색의 감광성 물질을 포함하거나, 교번적으로 배치된 박막층들을 포함할 수 있다. 픽셀 어레이(110)에 포함된 광학 필터들은 복수 개의 로우들과 복수 개의 컬럼들을 포함하는 매트릭스로 배열된 픽셀들에 대응하여 배치됨으로써, 광학 필터 어레이를 구성할 수 있다.

마이크로 렌즈(540)는 광학 필터(530)의 상부에 형성될 수 있고, 입사광에 대한 집광력(light gathering power)을 높여 광전 변환 소자(520)의 수광 효율을 향상시킬 수 있다.

광 차단 구조(550)는 저 투과율 픽셀(LPX)에서 광학 필터(530)를 통과한 입사광의 적어도 일부를 차단하여 광전 변환 소자(520)로 전달되지 않도록 기판(510)의 일 면과 광학 필터(530)의 사이에 배치될 수 있다. 광 차단 구조(550)는 광 반사율이 높은 물질(예컨대, 은, 알루미늄), 광 흡수율이 높은 물질(예컨대, 텅스텐) 중 적어도 하나를 포함할 수 있다.

저 투과율 픽셀(LPX)의 전체 면적은 광 차단 구조(550)가 배치되지 않은 영역의 차단 면적과, 광 차단 구조(550)가 배치된 영역의 개구 면적의 합으로 정의될 수 있다. 저 투과율 픽셀(LPX)의 광 투과율은 차단 면적과 개구 면적 간의 비율에 따라 결정될 수 있다.

광 차단 구조(550)를 포함하지 않는 고 투과율 픽셀(HPX)의 광 투과율은 광 차단 구조(550)를 포함하는 저 투과율 픽셀(LPX)의 광 투과율보다 높을 수 있다.

즉, 동일한 세기의 입사광이 고 투과율 픽셀(HPX)과 저 투과율 픽셀(LPX)로 입사되면, 저 투과율 픽셀(LPX)의 광전 변환 소자(520)로 전달되는 광의 세기는 고 투과율 픽셀(HPX)의 광전 변환 소자(520)로 전달되는 광의 세기보다 작을 수 있다.

또한, 저 투과율 픽셀(LPX)의 광전 변환 소자(520)로 전달되는 광의 세기는 입사광의 세기의 증가에 대응하여 상대적으로 낮은 기울기로 증가하게 되고, 고 투과율 픽셀(HPX)의 광전 변환 소자(520)로 전달되는 광의 세기는 입사광의 세기의 증가에 대응하여 상대적으로 높은 기울기로 증가하게 된다.

저 투과율 픽셀(LPX)의 광전 변환 소자(520)로 전달되는 광의 세기와 고 투과율 픽셀(HPX)의 광전 변환 소자(520)로 전달되는 광의 세기는 각각 픽셀 신호로 변환되므로, 저 투과율 픽셀(LPX)의 응답은 도 2에 도시된 저감도 픽셀의 응답을 따르게 되고, 고 투과율 픽셀(HPX)의 응답은 도 2에 도시된 고감도 픽셀의 응답을 따르게 된다.

도 5에서는 광 차단 구조(550)가 저 투과율 픽셀(LPX)의 가장자리에 배치되는 형태로 예시되었으나, 본 발명의 범위는 이에 한하지 않으며, 예를 들어 광 차단 구조(550)는 저 투과율 픽셀(LPX)의 임의의 위치에 배치될 수 있고, 일부가 개방되지 않고 저 투과율 픽셀(LPX)의 전체 영역에 배치될 수도 있다.

본 발명의 일 실시예에 따른 이미지 센싱 장치(100)에 의하면, 하나의 픽셀 어레이(110) 내에서 저감도 픽셀과 고감도 픽셀을 함께 구현할 수 있어 한 장의 이미지로 HDR 이미지를 생성할 수 있다.

도 6은 노광 시간의 차이로 픽셀의 감도를 조절하는 일 실시예를 설명하기 위한 도면이다.

도 6을 참조하면, 픽셀 어레이(110)의 하나의 로우에 노광 시간이 상대적으로 긴 장 노광 픽셀과 노광 시간이 상대적으로 짧은 단 노광 픽셀이 함께 배치된다고 가정하기로 한다. 픽셀 어레이(110)는 로우 드라이버(120)에 의해 로우 단위로 구동되므로, 장 노광 픽셀과 단 노광 픽셀은 서로 동일한 리셋 신호(RG) 및 로우 선택 신호(SEL)를 수신할 수 있다. 그러나, 장 노광 픽셀과 단 노광 픽셀은 서로 다른 노광 시간을 갖기 위해 서로 다른 제1 전송 신호(TG_L) 및 제2 전송 신호(TG_S)를 수신할 수 있다. 한편, 비록 도시되지 않았으나, 장 노광 픽셀과 단 노광 픽셀은 서로 동일한 CG 신호(CG)를 수신할 수도 있고, 서로 다른 CG 신호(CG)를 수신할 수도 있다.

리셋 신호(RG), 로우 선택 신호(SEL), 제1 전송 신호(TG_L) 및 제2 전송 신호(TG_S) 각각은 로직 로우 레벨(L)과 로직 하이 레벨(H)을 가질 수 있고, 로직 로우 레벨(L)을 갖는 신호가 입력되는 트랜지스터는 턴오프되고, 로직 하이 레벨(H)을 갖는 신호가 입력되는 트랜지스터는 턴온될 수 있다.

장 노광 픽셀과 단 노광 픽셀 각각의 동작 구간은 리셋 구간(RS), 노광 구간 및 리드아웃 구간(RD)을 포함할 수 있다. 동작 구간에는 리셋 구간(RS) 이후 기준 신호의 생성을 위한 리드아웃 구간(RD)이 더 포함될 수 있으나, 설명의 편의상 이에 대한 설명은 생략하기로 한다.

리셋 구간(RS)은 해당 픽셀 내부에 잔존하는 광전하를 제거하고 플로팅 디퓨전 영역(FD)을 전원 전압(VDD)으로 리셋하는 구간일 수 있다. 리셋 구간(RS)에서, 리셋 신호(RG), 로우 선택 신호(SEL), 제1 전송 신호(TG_L) 및 제2 전송 신호(TG_S) 각각은 로직 하이 레벨(H)을 가질 수 있다.

노광 구간(EX1, EX2)은 장 노광 픽셀과 단 노광 픽셀 각각의 광전 변환 소자(PD)가 입사광의 세기에 대응하는 광전하를 생성 및 축적하고, 축적된 광전하를 플로팅 디퓨전 영역(FD)으로 전송하는 구간일 수 있다.

리셋 구간(RS) 이후 장 노광 픽셀의 광전 변환 소자(PD)는 입사광의 세기에 대응하는 광전하를 생성 및 축적하며, 장 노광 픽셀의 전송 트랜지스터는 제1 전송 신호(TG_L)가 로직 하이 레벨(H)로부터 로직 로우 레벨(L)로 천이할 때까지 장 노광 픽셀의 광전 변환 소자(PD)로부터 장 노광 픽셀의 플로팅 디퓨전 영역(FD)으로 광전하를 전송할 수 있다. 즉, 장 노광 픽셀은 제1 노광 구간(EX1) 동안 생성된 광전하를 플로팅 디퓨전 영역(FD)에 축적할 수 있다.

리셋 구간(RS) 이후 단 노광 픽셀의 광전 변환 소자(PD)는 입사광의 세기에 대응하는 광전하를 생성 및 축적하며, 단 노광 픽셀의 전송 트랜지스터는 제2 전송 신호(TG_S)가 로직 하이 레벨(H)로부터 로직 로우 레벨(L)로 천이할 때까지 단 노광 픽셀의 광전 변환 소자(PD)로부터 단 노광 픽셀의 플로팅 디퓨전 영역(FD)으로 광전하를 전송할 수 있다. 즉, 단 노광 픽셀은 제2 노광 구간(EX2) 동안 생성된 광전하를 플로팅 디퓨전 영역(FD)에 축적할 수 있다. 노광 구간(EX1, EX2)은 각 픽셀에서 광전하가 생성 및 축적되는 시간을 의미할 수 있고, 각 픽셀에 인가되는 전송 신호는 노광 구간의 길이를 결정할 수 있다.

리드아웃 구간(RD)은 장 노광 픽셀과 단 노광 픽셀 각각이 플로팅 디퓨전 영역(FD)에 축적된 광전하에 대응하는 전기적 신호를 생성하여 픽셀 신호(PS)로 출력하는 구간일 수 있다.

제1 전송 신호(TG_L)가 로직 하이 레벨(H)로부터 로직 로우 레벨(L)로 천이하는 시점은 제2 전송 신호(TG_S)가 로직 하이 레벨(H)로부터 로직 로우 레벨(L)로 천이하는 시점보다 늦을 수 있다. 따라서, 제1 노광 구간(EX1)은 제2 노광 구간(EX2)보다 길 수 있다.

즉, 동일한 세기의 입사광이 장 노광 픽셀과 단 노광 픽셀로 입사되면, 단 노광 픽셀의 플로팅 디퓨전 영역(FD)에 축적되는 광전하의 양은 장 노광 픽셀의 플로팅 디퓨전 영역(FD)에 축적되는 광전하의 양보다 작을 수 있다.

또한, 단 노광 픽셀의 플로팅 디퓨전 영역(FD)에 축적되는 광전하의 양은 입사광의 세기의 증가에 대응하여 상대적으로 낮은 기울기로 증가하게 되고, 장 노광 픽셀의 플로팅 디퓨전 영역(FD)에 축적되는 광전하의 양은 입사광의 세기의 증가에 대응하여 상대적으로 높은 기울기로 증가하게 된다.

단 노광 픽셀의 플로팅 디퓨전 영역(FD)에 축적되는 광전하의 양과 장 노광 픽셀의 플로팅 디퓨전 영역(FD)에 축적되는 광전하의 양은 각각 픽셀 신호로 변환되므로, 단 노광 픽셀의 응답은 도 2에 도시된 저감도 픽셀의 응답을 따르게 되고, 장 노광 픽셀의 응답은 도 2에 도시된 고감도 픽셀의 응답을 따르게 된다.

본 발명의 다른 실시예에 따른 이미지 센싱 장치(100)에 의하면, 하나의 픽셀 어레이(110) 내에서 저감도 픽셀과 고감도 픽셀을 함께 구현할 수 있어 한 장의 이미지로 HDR 이미지를 생성할 수 있다.

도 7은 변환 이득의 차이로 픽셀의 감도를 조절하는 일 실시예를 설명하기 위한 도면이다.

도 7을 참조하면, 픽셀 어레이(110)의 하나의 로우에 변환 이득이 상대적으로 큰 고 CG(conversion gain) 픽셀과 변환 이득이 상대적으로 작은 저 CG 픽셀이 함께 배치된다고 가정하기로 한다. 픽셀 어레이(110)는 로우 드라이버(120)에 의해 로우 단위로 구동되므로, 고 CG 픽셀과 저 CG 픽셀은 서로 동일한 리셋 신호(RG) 및 로우 선택 신호(SEL)를 수신할 수 있다. 또한, 도 7에서는 고 CG 픽셀과 저 CG 픽셀은 서로 동일한 전송 신호(TG)를 수신하는 것으로 가정하나, 도 6에서와 같이 서로 다른 전송 신호들(TG_L, TG_S)을 각각 수신하는 것도 가능하다. 고 CG 픽셀과 저 CG 픽셀은 서로 다른 변환 이득을 갖기 위해 서로 다른 제1 CG 신호(CG_H) 및 제2 CG 신호(CG_L)를 수신할 수 있다.

고 CG 픽셀과 저 CG 픽셀 각각의 동작 구간은 리셋 구간(RS), 노광 구간 및 리드아웃 구간(RD)을 포함할 수 있다. 리셋 구간(RS), 노광 구간 및 리드아웃 구간(RD) 각각에서의 동작은 도 6에서 설명된 바와 실질적으로 동일한 바, 중복된 설명은 생략하기로 한다.

리셋 구간(RS), 노광 구간 및 리드아웃 구간(RD) 동안, 고 CG 픽셀은 로직 로우 레벨(L)을 유지하는 제1 CG 신호(CG_H)를 수신하고, 저 CG 픽셀은 로직 하이 레벨(H)을 유지하는 제2 CG 신호(CG_L)을 수신할 수 있다. 이에 따라, 고 CG 픽셀의 플로팅 디퓨전 영역(FD)의 정전 용량은 제1 캐피시터(C1)의 정전 용량에 해당하고, 저 CG 픽셀의 플로팅 디퓨전 영역(FD)의 정전 용량은 제1 캐피시터(C1)의 정전 용량과 제2 캐피시터(C2)의 정전 용량의 합에 해당할 수 있다.

리드아웃 구간(RD)에서, 플로팅 디퓨전 영역(FD)에 축적된 광전하는 플로팅 디퓨전 영역(FD)의 전압 변화를 발생시키고, 플로팅 디퓨전 영역(FD)의 전압 변화는 소스팔로워 트랜지스터(SF)에 의해 전기적 신호로 변환될 수 있다. 이때, 플로팅 디퓨전 영역(FD)의 전압 변화의 정도는 플로팅 디퓨전 영역(FD)의 정전 용량에 의해 정해질 수 있다. 동일한 양의 광전하에 대해, 플로팅 디퓨전 영역(FD)의 정전 용량이 작을수록 플로팅 디퓨전 영역(FD)의 전압 변화는 크게 발생하고, 플로팅 디퓨전 영역(FD)의 정전 용량이 클수록 플로팅 디퓨전 영역(FD)의 전압 변화는 작게 발생할 수 있다.

즉, 고 CG 픽셀과 저 CG 픽셀에서 동일한 양의 광전하가 플로팅 디퓨전 영역(FD)에 축적되면, 고 CG 픽셀이 생성하는 픽셀 신호의 크기는 저 CG 픽셀이 생성하는 픽셀 신호의 크기보다 클 수 있다.

또한, 저 CG 픽셀의 픽셀 신호의 크기는 광전하의 증가에 대응하여 상대적으로 낮은 기울기로 증가하게 되고, 고 CG 픽셀의 픽셀 신호의 크기는 광전하의 증가에 대응하여 상대적으로 높은 기울기로 증가하게 된다.

저 CG 픽셀의 픽셀 신호의 크기와 고 CG 픽셀의 픽셀 신호의 크기는 각각 영상 데이터(IDATA)로 변환되므로, 저 CG 픽셀의 응답은 도 2에 도시된 저감도 픽셀의 응답을 따르게 되고, 고 CG 픽셀의 응답은 도 2에 도시된 고감도 픽셀의 응답을 따르게 된다.

본 발명의 또 다른 실시예에 따른 이미지 센싱 장치(100)에 의하면, 하나의 픽셀 어레이(110) 내에서 저감도 픽셀과 고감도 픽셀을 함께 구현할 수 있어 한 장의 이미지로 HDR 이미지를 생성할 수 있다.

도 8은 아날로그 이득의 차이로 픽셀의 감도를 조절하는 일 실시예를 설명하기 위한 도면이다.

도 8을 참조하면, ADC(140)는 램프 비교 타입(ramp-compare type) ADC일 수 있다. 일 실시예에서, 램프 비교 타입 ADC는 시간에 따라 하강하는 램프 신호와 아날로그 형태의 픽셀 신호를 비교하는 비교기, 및 램프 신호가 아날로그 픽셀 신호에 매칭(matching)될 때까지 카운팅 동작을 수행하는 카운터를 포함할 수 있다. 또한, 픽셀 어레이(110)의 동일 컬럼에 속한 픽셀들이 연결된 컬럼 라인 별로 독립적으로 ADC(140)가 구비될 수 있다. 각 ADC(140)는 서로 동일하거나 서로 다른 램프 신호를 이용해 아날로그 디지털 변환을 수행할 수 있다.

도 8에 도시된 그래프의 X축은 시간을 나타내고, Y축은 전압을 나타낼 수 있다. 도 8에는 제1 및 제2 램프 신호(RAMP1, RAMP2)가 도시되어 있으며, 제1 및 제2 램프 신호(RAMP1, RAMP2) 각각은 제1 시점(t1) 이전까지 일정한 전압을 유지하다가, 제1 시점(t1) 이후 선형적으로 감소하는 형태를 가질 수 있다.

제1 램프 신호(RAMP1)의 기울기는 제2 램프 신호(RAMP2)의 기울기보다 작을 수 있다. 제1 및 제2 램프 신호(RAMP1, RAMP2)의 기울기는 타이밍 컨트롤러(170)의 제어에 따라 램프 신호를 생성하는 램프 회로에 포함된 가변 저항의 저항 값을 제어함에 의해 조절될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

제1 및 제2 램프 신호(RAMP1, RAMP2) 각각이 선형적으로 감소하기 시작하는 제1 시점(t1)으로부터 소정의 시간이 경과한 제2 시점(t2)까지의 구간은 카운팅 가능 구간(countable range)으로 정의될 수 있다. 카운팅 가능 구간은 ADC(140)의 카운터가 카운팅 동작을 수행할 수 있는 최대 시간으로서, 카운터의 최대 카운팅 횟수에 따라 정해질 수 있고 ADC(140)의 출력 범위를 나타낼 수 있다.

ADC(140)의 입력 범위는 ADC(140)의 미리 정해진 출력 범위(예컨대, 0~1023의 digital number(DN)) 이내의 영상 데이터(IDATA)로 유효하게 변환될 수 있는 픽셀 신호의 전압 범위를 의미할 수 있다.

제1 램프 신호(RAMP1)가 비교기로 입력될 때, ADC(140)의 출력 범위에 의해 정해진 카운팅 가능 시간에서 유효하게 픽셀 데이터로 변환될 수 있는 픽셀 신호의 전압 범위는 제1 입력 범위(IR1)에 해당할 수 있다. 도 8의 예시에서 비교기로 제1 램프 신호(RAMP1)와 픽셀 신호(PS)가 입력될 때, 카운터는 제1 시점(t1)부터 카운팅을 시작하여 픽셀 신호(PS)가 제1 램프 신호(RAMP1) 이상의 값을 갖기 시작하는 제3 시점(t3)까지 카운팅을 수행한 뒤, 누적된 카운팅 값을 영상 데이터로 출력할 수 있다. 픽셀 신호(PS)는 제1 입력 범위(IR1) 이내의 신호로서 유효하게 영상 데이터로 변환될 수 있다. 여기서, 유효하게 영상 데이터로 변환된다는 것은 픽셀 신호(PS)의 전압을 나타내는 영상 데이터로 변환된다는 것을 의미할 수 있다. 만일 픽셀 신호(PS)가 제2 시점(t2)에서의 제1 램프 신호(RAMP1)의 전압 미만의 전압을 가진다면, 픽셀 신호(PS)는 유효하게 픽셀 데이터로 변환될 수 없다.

제2 램프 신호(RAMP2)가 비교기로 입력될 때, ADC(140)의 출력 범위에 의해 정해진 카운팅 가능 시간에서 유효하게 픽셀 데이터로 변환될 수 있는 픽셀 신호의 전압 범위는 제2 입력 범위(IR2)에 해당할 수 있다. 도 8의 예시에서 비교기로 제2 램프 신호(RAMP2)와 픽셀 신호(PS)가 입력될 때, 카운터는 제1 시점(t1)부터 카운팅을 시작하여 픽셀 신호(PS)가 제2 램프 신호(RAMP2) 이상의 값을 갖기 시작하는 제4 시점(t4)까지 카운팅을 수행한 뒤, 누적된 카운팅 값을 영상 데이터로 출력할 수 있다.

제1 램프 신호(RAMP1)를 이용하여 아날로그 디지털 변환을 수행하는 ADC(140)에 연결된 픽셀을 고 AG 픽셀로, 제2 램프 신호(RAMP2)를 이용하여 아날로그 디지털 변환을 수행하는 ADC(140)에 연결된 픽셀을 저 AG 픽셀로 정의하기로 한다.

즉, 동일한 전압을 갖는 픽셀 신호(PS)에 대해, 고 AG 픽셀에 연결된 ADC(140)가 출력하는 영상 데이터는 저 AG 픽셀에 연결된 ADC(140)가 출력하는 영상 데이터보다 클 수 있다.

또한, 저 AG 픽셀에 연결된 ADC(140)가 출력하는 영상 데이터는 픽셀 신호의 증가(여기서의 증가는 픽셀 신호의 절대값의 증가를 의미함)에 대응하여 상대적으로 낮은 기울기로 증가하게 되고, 고 AG 픽셀에 연결된 ADC(140)가 출력하는 영상 데이터는 픽셀 신호의 증가에 대응하여 상대적으로 높은 기울기로 증가하게 된다.

따라서, 저 AG 픽셀의 응답은 도 2에 도시된 저감도 픽셀의 응답을 따르게 되고, 고 AG 픽셀의 응답은 도 2에 도시된 고감도 픽셀의 응답을 따르게 된다.

도 5 내지 도 8에서 설명된 광 투과율, 노광 시간, 변환 이득 및 아날로그 이득 각각의 차이로 픽셀의 감도를 조절하는 실시예들은 서로 조합될 수 있다. 예를 들어, 광 투과율이 상대적으로 낮은 저 투과율 픽셀(LPX)의 CG 트랜지스터(CG)를 턴온시켜 응답의 기울기를 보다 작게 하거나, 저 투과율 픽셀(LPX)의 CG 트랜지스터(CG)를 턴오프시켜 응답의 기울기를 보다 크게 할 수 있다. 또한, 광 투과율, 노광 시간, 변환 이득 및 아날로그 이득 중 적어도 2 이상의 항목들을 이용해 픽셀의 감도가 조절될 수 있다.

또한, 도 5 내지 도 8에서 설명된 광 투과율, 노광 시간, 변환 이득 및 아날로그 이득 각각은 설명의 편의상 크고 작은 2가지의 종류만을(예컨대, 고 투과율 픽셀 또는 저 투과율 픽셀) 가지는 것으로 설명되었으나, 본 발명의 범위는 이에 한정되지 않고 3가지 이상의 종류를(예컨대, 고 투과율 픽셀 또는 저 투과율 픽셀의 중간 투과율을 갖는 중 투과율 픽셀) 가질 수도 있다.

도 9는 본 발명의 일 실시예에 따른 촬영 장치의 HDR 이미지 생성 방법을 나타낸 흐름도이다. 도 10은 도 9의 S30 단계를 보다 상세히 나타낸 흐름도이다.

도 9를 참조하면, 휘도 획득부(310)는 이미지 센싱 장치(100)가 생성한 영상 데이터(IDATA)에 기초하여 장면 중 타겟 영역의 휘도를 획득할 수 있다(S10).

제어 가능 항목 획득부(320)는 감도 항목들(예컨대, 광 노출량, 광 투과율, 노광 시간, 변환 이득 및 아날로그 이득 중 적어도 하나) 중에서 적어도 하나의 제어 가능한 항목을 획득할 수 있다(S20). 여기서, 광 투과율은 감도 항목에 속하긴 하나, 각 픽셀의 광 투과율은 하드웨어적으로 고정될 수 밖에 없으므로 제어 가능 항목 획득부(320)는 제어 가능한 항목으로 광 투과율을 고려하지 않을 수 있다.

설정치 산출부(330)는 휘도 획득부(310)로부터 수신되는 타겟 영역의 휘도, 및 제어 가능 항목 획득부(320)로부터 수신되는 제어 가능한 항목에 기초하여, 제어 가능한 항목에 대한 설정치를 산출하고, 산출된 설정치를 나타내는 제어 신호(CS)를 생성할 수 있다(S30).

설정치 산출부(330)는 이미지 센싱 장치(100)의 픽셀들이 최적의 동적 범위를 가질 수 있도록 제어 가능한 항목에 대한 설정치를 산출할 수 있다. 여기서, 최적의 동적 범위는 가능한 넓은 동적 범위에 해당하면서도, 노이즈를 최소화할 수 있는 동적 범위를 의미할 수 있다.

동적 범위를 최대한 넓히기 위해서는, 광전 변환 소자(PD)에서 포화되지 않는 한 광전 변환 소자(PD)에서 생성되는 광전하의 양을 최대로 증가시키고, ADC(140)에서 포화되지 않는 한 최대의 이득(변환 이득 및 아날로그 이득)으로 영상 데이터를 생성하여야 한다.

여기서, 광전 변환 소자(PD)에서 포화된다는 것은 광전 변환 소자(PD)가 최대로 생성 및 축적할 수 있는 광전하의 양을 나타내는 full well capacity(FWC)를 초과하여 광전하가 생성됨을 의미할 수 있다. 또한, ADC(140)에서 포화된다는 것은 ADC(140)의 출력 범위의 상한 값에 해당하는 영상 데이터가 생성됨을 의미할 수 있다.

광전 변환 소자(PD)에서 생성되는 광전하의 양을 증가시키는 방법은 광 노출양이 증가되도록 조리개 드라이버(40)가 조리개(20)의 개방 정도를 증가시키거나, 노광 시간이 증가되도록 로우 드라이버(120)가 전송 신호가 로직 하이 레벨을 갖는 시간을 증가시키는 방법일 수 있다.

영상 데이터를 생성하는 이득을 증가시키는 방법은 변환 이득이 증가되도록 로우 드라이버(120)가 CG 트랜지스터를 턴온시키거나, 아날로그 이득이 증가되도록 타이밍 컨트롤러(170)가 램프 신호의 기울기를 감소시키는 방법일 수 있다.

설정치 산출부(330)는 휘도 획득부(310)로부터 수신되는 타겟 영역의 영상 데이터에 기초하여 타겟 영역에 포함된 각 픽셀에 대해 포화 여부를 판단할 수 있다. 각 픽셀의 포화는 광전 변환 소자(PD)에서의 포화 및 ADC(140)에서의 포화를 포함하는 개념으로서, 본 개시에서는 각 픽셀의 영상 데이터가 ADC(140)의 출력 범위의 상한 값에 해당하는 영상 데이터이면 해당 픽셀이 포화된 것으로 판단된다고 가정하기로 한다.

또한, 설정치 산출부(330)는 제어 가능한 항목에 대한 제어를 통해 각 픽셀이 포화될 수 있는지 여부를 판단할 수 있다. 이를 위해 설정치 산출부(330)는 제어 가능한 항목들(광 노출량, 노광 시간, 변환 이득, 아날로그 이득) 각각을 특정 설정치로 제어함에 대응하여 해당 픽셀의 응답이 변화되는 응답 특성을 미리 저장할 수 있다. 이러한 응답 특성은 각 항목의 설정치를 변경하면서 픽셀의 응답을 측정함에 의해 실험적으로 결정될 수 있다. 예를 들어, 설정치 산출부(330)는 타겟 영역 내의 고 투과율 픽셀의 현재 영상 데이터 및 고 투과율 픽셀의 응답 특성에 기초하여, 고 투과율 픽셀의 감도를 최대로 높이도록 제어 가능한 항목(예컨대, 광 노출량, 노광 시간, 변환 이득, 아날로그 이득)의 설정치를 제어하였을 때 고 투과율 픽셀이 포화될 수 있는지 여부를 판단할 수 있다. 만일 고 투과율 픽셀이 포화될 수 없는 경우에는 현재 조도가 매우 낮은 환경이므로, 단 노광 픽셀과 같이 노광 시간을 짧게 하더라도 동적 범위의 확장 효과를 기대할 수 없고 오히려 신호대 잡음비만 악화될 수 있다. 따라서, 설정치 산출부(330)는 노광 시간을 제어 가능한 항목에서 제외하고 노광 시간을 최장 시간으로 설정할 수 있다.

다른 실시예에 따라, 설정치 산출부(330)는 타겟 영역 내의 고 투과율 픽셀의 현재 영상 데이터의 평균 값(즉, 평균 휘도) 또는 최대 값(즉, 최대 휘도)이 미리 정해진 값보다 작은 경우(예를 들어, 야간 촬영, 동영상 촬영 등), 설정치 산출부(330)는 조도가 매우 낮은 환경이라고 판단하고, 노광 시간을 제어 가능한 항목에서 제외하고 노광 시간을 유일한 값인 최장 시간으로 설정할 수 있다.

본 개시에서 제시되는 픽셀의 감도를 조절하는 실시예들은 각각 서로 대비되는 장단점을 가질 수 있다.

광 투과율을 제어하여 픽셀의 감도를 조절하는 방법은 픽셀로 입사되는 광의 양을 공간적으로 조절함으로써 고 투과율 픽셀이 포화되는 고조도에서도 저 투과율 픽셀은 포화되지 않아 유효한 응답을 생성할 수 있으므로, 실질적으로 FWC을 증가시켜 픽셀의 동적 범위를 상대적으로 크게 확장할 수 있다. 그러나, 광 투과율은 이미지 센싱 장치(100)의 제조시 고정되어 동적으로는 제어할 수 없는 항목에 해당한다.

노광 시간을 제어하여 픽셀의 감도를 조절하는 방법은 픽셀로 입사되는 광의 양을 시간적으로 조절함으로써 장 노광 픽셀이 포화되는 고조도에서도 저 노광 픽셀은 포화되지 않아 유효한 응답을 생성할 수 있으므로, 실질적으로 FWC을 증가시켜 픽셀의 동적 범위를 상대적으로 크게 확장할 수 있다. 그러나, 노광 시간을 과도하게 조절하게 되면 픽셀들 간에 입사광을 캡쳐하는 시점이 크게 달라지게 되므로, 빠르게 움직이는 피사체에 대한 모션 아티팩트가 증가함으로써 이미지 품질이 크게 저하될 수 있다.

변환 이득을 제어하여 픽셀의 감도를 조절하는 방법은 픽셀에서 생성된 광전하가 픽셀 신호(즉, 전압)으로 변환되는 이득을 조절함으로써 생성된 광전하가 부족한 저조도에서도 일정 이득에 따라 증폭된 전압을 얻을 수 있어 노이즈를 억제하는 효과를 가질 수 있다. 그러나, 광전 변환 소자(PD)가 포화된 픽셀에 대해서는 변환 이득을 제어하여도 유효한 응답을 얻을 수 없으므로, 픽셀의 동적 범위를 확장시키는 성능에 한계가 있다.

아날로그 이득을 제어하여 픽셀의 감도를 조절하는 방법은 픽셀 신호가 영상 데이터(즉, 디지털 값)로 변환되는 이득을 조절함으로써 생성된 광전하가 부족한 저조도에서도 일정 이득에 따라 증폭된 영상 데이터를 얻을 수 있어 노이즈를 억제하는 효과를 가질 수 있다. 그러나, 광전 변환 소자(PD)가 포화된 픽셀에 대해서는 아날로그 이득을 제어하여도 유효한 응답을 얻을 수 없으므로, 픽셀의 동적 범위를 확장시키는 성능에 한계가 있다. 또한, 아날로그 이득을 높이게 되면, 도 8에서 설명된 바와 같이 ADC(140)가 영상 데이터로 유효하게 변환될 수 있는 픽셀 신호의 전압 범위인 입력 범위가 줄어들 수 밖에 없으므로 조도에 따라서는 동적 범위가 오히려 줄어들게 되는 부작용이 있을 수 있다.

촬영 장치(1)는 픽셀의 감도를 조절하는 항목들의 특성을 고려하여 영상 데이터의 동적 범위를 확장할 수 있다. 일 실시예에 따라, 촬영 장치(1)는 광 투과율을 이용한 감도 제어, 변환 이득을 이용한 감도 제어, 노광 시간을 이용한 감도 제어, 아날로그 이득을 이용한 감도 제어의 순서로 점진적으로 낮아지는 우선 순위로 각 픽셀의 감도를 조절함으로써 동적 범위의 확장을 수행할 수 있다. 이는 동적 범위의 확장 성능 및 부작용을 고려한 것이며, 다른 실시예에 따라 우선 순위는 변경될 수 있다. 또한, 촬영 장치(1)는 픽셀의 감도 제어시 각 픽셀로 입사되는 광의 세기가 가능한 한 크도록 제어 가능한 항목의 설정치를 산출할 수 있다.

도 10을 참조하여, 설정치 산출부(330)가 제어 가능한 항목에 대한 설정치를 산출하는 일 예를 설명하기로 한다. 본 개시에서는 설명의 편의상 변환 이득 및 아날로그 이득은 항상 제어 가능하고, 광 노출량 및 노광 시간 각각은 제어 가능하거나 제어 불가능할 수 있다고 가정하기로 한다. 즉, 제어 가능 항목 획득부(320)는 광 노출량 및 노광 시간 중에서 제어 가능한 항목을 획득할 수 있다.

또한, 저 투과율 픽셀과 고 투과율 픽셀의 배치 형태는 도 5에 예시된 형태에 따른다고 가정하기로 한다. 즉, 단위 매트릭스는 1개의 저 투과율 픽셀과 3개의 고 투과율 픽셀들로 구성된다고 가정하기로 한다.

설정치 산출부(330)는 광 노출량이 제어 가능한 항목인지 판단할 수 있다(S300).

만일 광 노출량이 제어 가능한 항목이 아닌 경우(S300의 No), 설정치 산출부(330)는 노광 시간이 제어 가능한 항목인지 판단할 수 있다(S310).

만일 노광 시간이 제어 가능한 항목인 경우(S310의 Yes), 설정치 산출부(330)는 제1 설정 제어를 수행할 수 있다(S320). 제1 설정 제어는 광 노출량이 제어 불가능한 항목이고, 노광 시간, 변환 이득 및 아날로그 이득이 제어 가능한 항목인 조건에서 제어 가능한 항목의 제어 방법을 의미할 수 있다.

구체적으로, 설정치 산출부(330)는 고 투과율 픽셀과 저 투과율 픽셀에 대한 변환 이득의 제어를 통해 타겟 영역에서 요구 동적 범위를 획득할 수 있는지 여부를 판단할 수 있다. 여기서, 요구 동적 범위는 타겟 영역을 촬영하는데 적합한 동적 범위를 의미할 수 있다.

일 실시예에 따라, 고 투과율 픽셀과 저 투과율 픽셀에 대한 변환 이득의 제어를 통해 타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀들이 제1 비율 미만이고 타겟 영역에서 포화된 저 투과율 픽셀들이 제2 비율 이하이면, 설정치 산출부(330)는 타겟 영역에서 요구 동적 범위를 획득할 수 있다고 판단할 수 있다. 반대로, 고 투과율 픽셀과 저 투과율 픽셀에 대한 변환 이득의 제어를 통하더라도 타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀들이 제1 비율 이상이거나 타겟 영역에서 포화된 저 투과율 픽셀들이 제2 비율을 초과하면, 설정치 산출부(330)는 타겟 영역에서 요구 동적 범위를 획득할 수 없다고 판단할 수 있다. 여기서, 제1 비율은 타겟 영역 내에서 전체 고 투과율 픽셀의 개수 대비 소정 값 이하의 응답을 갖는 고 투과율 픽셀의 개수의 비율을 의미할 수 있다. 제2 비율은 타겟 영역 내에서 전체 저 투과율 픽셀의 개수 대비 포화된 저 투과율 픽셀의 개수의 비율을 의미할 수 있다. 제1 비율과 제2 비율은 요구 동적 범위에 따라 미리 실험적으로 결정될 수 있다. 예를 들어, 소정 값은 도 2에서 설명된 고감도 픽셀의 동적 범위(DR_H)의 하한 값을 의미할 수 있다. 또한, 타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀들이 제1 비율 미만이 되는 조건을 제1 조건으로 정의하고, 타겟 영역에서 포화된 저 투과율 픽셀들이 제2 비율 이하가 되는 조건을 제2 조건으로 정의할 수 있다.

다른 실시예에 따라, 설정치 산출부(330)는 이미지 신호 프로세서(200)의 다른 구성(예컨대, HDR 이미지를 합성하는 구성)으로부터 요구 동적 범위를 획득할 수 있는지 여부에 대한 정보를 수신할 수 있다.

제1 설정 제어에서, 만일 고 투과율 픽셀과 저 투과율 픽셀에 대한 변환 이득의 제어를 통해 타겟 영역에서 요구 동적 범위를 획득할 수 있는 경우, 설정치 산출부(330)는 고 투과율 픽셀과 저 투과율 픽셀에 대해 최장 노광 시간 및 최적 아날로그 이득을 설정할 수 있다. 여기서, 최장 노광 시간은 타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀이 제1 비율 미만이 되고 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하가 되는 범위에서 최장의 노광 시간일 수 있다. 또한, 최저 아날로그 이득은 ADC(140)에서 설정 가능한 최저의 아날로그 이득일 수 있다. 이는 아날로그 이득이 낮을수록 ADC(140)의 입력 범위가 확대될 수 있어 동적 범위가 의도치 않게 제한되는 것을 방지하기 위함이다.

만일 고 투과율 픽셀과 저 투과율 픽셀에 대한 변환 이득의 제어를 통해 타겟 영역에서 요구 동적 범위를 획득할 수 없는 경우, 설정치 산출부(330)는 노광 시간을 제어하여 동적 범위를 확장할 수 있다. 도 6에서 설명된 장 노광 픽셀의 제1 노광 구간(EX1)의 길이를 제1 노광 시간으로 정의하고, 단 노광 픽셀의 제2 노광 구간(EX2)의 길이를 제2 노광 시간으로 정의하기로 한다.

설정치 산출부(330)는 타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀들이 제1 비율 미만이 되도록 제1 노광 시간을 결정할 수 있다. 또한, 설정치 산출부(330)는 타겟 영역에서 포화된 저 투과율 픽셀들이 제2 비율 이하가 되도록 제2 노광 시간을 결정할 수 있다. 다만, 제1 노광 시간과 제2 노광 시간 간의 차이는 모션 아티팩트를 줄이기 위해 최소한으로 정해질 수 있다. 최소한의 차이를 갖는 제1 노광 시간과 제2 노광 시간을 이용해 저 투과율 픽셀과 고 투과율 픽셀 간의 감도 차이를 최대한으로 설정하여 동적 범위를 최대한으로 확장하기 위해, 저 투과율 픽셀에는 제2 노광 시간이 설정되고 고 투과율 픽셀에는 제1 노광 시간이 설정될 수 있다.

또한, 도 7에서 설명된 고 CG 픽셀의 변환 이득을 제1 변환 이득으로, 저 CG 픽셀의 변환 이득을 제2 변환 이득으로 각각 정의하기로 한다. 아울러, 도 8에서 설명된 고 AG 픽셀의 아날로그 이득을 제1 아날로그 이득으로, 저 AG 픽셀의 아날로그 이득을 제2 아날로그 이득으로 각각 정의하기로 한다. 설명의 편의상 제2 아날로그 이득은 앞서 설명된 최저 아날로그 이득과 동일하다고 가정한다.

설정치 산출부(330)는 저 투과율 픽셀에 대해 제2 변환 이득, 제2 노광 시간 및 제2 아날로그 이득을 설정할 수 있다. 여기서, 저 투과율 픽셀에 대해 제2 변환 이득과 제2 노광 시간을 설정하는 것은 저 투과율 픽셀의 동적 범위를 확장시키기 위함이며, 저 투과율 픽셀에 대해 제2 아날로그 이득을 설정하는 것은 동적 범위의 제한을 방지하기 위함이다.

설정치 산출부(330)는 고 투과율 픽셀들에 대해 제1 변환 이득을 포함하는 복수의 변환 이득들, 제1 노광 시간을 포함하는 복수의 노광 시간들 및 제2 아날로그 이득을 설정할 수 있다. 즉, 복수의 변환 이득들은 제1 변환 이득을 포함하고 복수의 노광 시간들은 제1 노광 시간을 포함하도록 하여 고 투과율 픽셀의 동적 범위를 확장시킬 수 있고, 고 투과율 픽셀에 대해 제2 아날로그 이득을 설정하는 것은 동적 범위의 제한을 방지하기 위함이다. 또한, 고 투과율 픽셀에 대해 복수의 변환 이득들 및 복수의 노광 시간들을 조합하여 설정함으로써 고 투과율 픽셀들이 다양한 동적 범위를 갖도록 할 수 있다. 이와 같이 다양한 동적 범위를 갖는 고 투과율 픽셀들의 영상 데이터를 합성하게 되면, 신호대 잡음비가 우수한 영상 데이터만을 합성하여 HDR 이미지를 생성할 수 있어 이미지의 품질이 개선될 수 있다. 단위 매트릭스를 예로 들면, 설정치 산출부(330)는 하나의 고 투과율 픽셀에 대해 제1 변환 이득과 제1 노광 시간을 설정하고, 다른 고 투과율 픽셀에 대해 제2 변환 이득과 제2 노광 시간을 설정하고, 나머지 고 투과율 픽셀에 대해 제2 변환 이득과 제1 노광 시간을 설정할 수 있다.

만일 노광 시간이 제어 가능한 항목이 아닌 경우(S310의 No), 설정치 산출부(330)는 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율을 초과하는지 판단할 수 있다(S330).

만일 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율을 초과하면(S330의 Yes), 설정치 산출부(330)는 제2 설정 제어를 수행할 수 있다(S340). 제2 설정 제어는 광 노출량과 노광 시간이 제어 불가능한 항목이고, 변환 이득 및 아날로그 이득이 제어 가능한 항목이고, 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율을 초과하는 조건에서 제어 가능한 항목의 제어 방법을 의미할 수 있다. 이러한 조건은 저 투과율 픽셀조차 일정 비율 이상으로 포화되는 상대적으로 높은 조도 조건을 의미할 수 있다.

설정치 산출부(330)는 저 투과율 픽셀과 고 투과율 픽셀들에 대해 미리 정해진 패턴으로 제1 변환 이득 또는 제2 변환 이득을 설정할 수 있다. 설정치 산출부(330)는 제1 변환 이득으로 설정된 픽셀에 대해 제1 아날로그 이득을 설정할 수 있다. 설정치 산출부(330)는 제2 변환 이득으로 설정된 픽셀에 대해 제2 아날로그 이득을 설정할 수 있다. 이는 변환 이득과 아날로그 이득을 이용하여 가능한 큰 감도 차이를 구현하기 위함이다. 그러나, 제1 변환 이득으로 설정된 픽셀이 제1 아날로그 이득으로 설정될 경우, 동적 범위가 오히려 제한될 가능성이 있다. 다른 실시예에 따라, 설정치 산출부(330)는 제1 변환 이득으로 설정된 픽셀에 대해 제2 아날로그 이득을 설정하거나, 제1 아날로그 이득 또는 제2 아날로그 이득을 선택적으로 설정할 수도 있다.

만일 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하이면(S330의 No), 설정치 산출부(330)는 타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀이 제1 비율 미만인지 판단할 수 있다(S350).

타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀이 제1 비율 미만이면(S350의 Yes), 설정치 산출부(330)는 제3 설정 제어를 수행할 수 있다(S360). 제3 설정 제어는 광 노출량과 노광 시간이 제어 불가능한 항목이고, 변환 이득 및 아날로그 이득이 제어 가능한 항목이고, 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하이고 소정 값 이하의 응답을 갖는 고 투과율 픽셀이 제1 비율 미만인 조건에서 제어 가능한 항목의 제어 방법을 의미할 수 있다. 이러한 조건은 저 투과율 픽셀은 제2 비율 이하로 포화되고 고 투과율 픽셀은 제1 비율 미만으로 소정 값 이하의 응답을 갖는 적정한 조도 조건을 의미할 수 있다.

설정치 산출부(330)는 저 투과율 픽셀에 대해 제1 변환 이득을 설정할 경우 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하로 유지될 지 판단할 수 있다. 만일 포화된 저 투과율 픽셀이 제2 비율 이하로 유지될 수 있는 경우, 설정치 산출부(330)는 저 투과율 픽셀에 대해 제1 변환 이득을 설정할 수 있다. 만일 포화된 저 투과율 픽셀이 제2 비율을 초과하게 될 경우, 설정치 산출부(330)는 저 투과율 픽셀에 대해 제2 변환 이득을 설정할 수 있다.

한편, 설정치 산출부(330)는 고 투과율 픽셀들에 대해 미리 정해진 패턴으로 제1 변환 이득 또는 제2 변환 이득을 설정할 수 있다. 여기서, 미리 정해진 패턴은 저 투과율 픽셀과 동일한 로우에 속한 고 투과율 픽셀에 대해서는 저 투과율 픽셀과 동일한 변환 이득을, 저 투과율 픽셀과 다른 로우에 속한 고 투과율 픽셀에 대해서는 저 투과율 픽셀과 다른 변환 이득을 설정하는 패턴일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

위와 같이 저 투과율 픽셀과 고 투과율 픽셀들에 대해 변환 이득을 설정한 상태에서, 설정치 산출부(330)는 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하이고 소정 값 이하의 응답을 갖는 고 투과율 픽셀이 제1 비율 미만인 조건이 유지되는 범위 내에서 저 투과율 픽셀과 고 투과율 픽셀들에 대해 가능한 최대의 아날로그 이득을 설정할 수 있다. 이는 가능한 넓은 동적 범위를 얻을 수 있으면서도 가능한 노이즈를 억제하기 위함이다.

타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀이 제1 비율 이상이면(S350의 No), 설정치 산출부(330)는 제4 설정 제어를 수행할 수 있다(S370). 제4 설정 제어는 광 노출량과 노광 시간이 제어 불가능한 항목이고, 변환 이득 및 아날로그 이득이 제어 가능한 항목이고, 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하이고 소정 값 이하의 응답을 갖는 고 투과율 픽셀이 제1 비율 이상인 조건에서 제어 가능한 항목의 제어 방법을 의미할 수 있다. 이러한 조건은 고 투과율 픽셀이 제1 비율 이상으로 소정 값 이하의 응답을 갖는 상대적으로 낮은 조도 조건을 의미할 수 있다.

설정치 산출부(330)는 저 투과율 픽셀에 대해 제1 변환 이득을 설정할 수 있다.

한편, 설정치 산출부(330)는 고 투과율 픽셀들에 대해 미리 정해진 패턴으로 제1 변환 이득 또는 제2 변환 이득을 설정할 수 있다. 여기서, 고 투과율 픽셀들이 제1 변환 이득으로 설정되더라도 제1 비율 이상으로 소정 값 이하의 응답을 갖는다고 판단될 경우, 설정치 산출부(330)는 고 투과율 픽셀들에 대해 미리 정해진 패턴이 아닌 제1 변환 이득을 설정할 수 있다. 이러한 경우에는 고 투과율 픽셀들에 대해 제2 변환 이득을 설정하더라도 동적 범위의 확장을 기대할 수 없기 때문이다.

위와 같이 저 투과율 픽셀과 고 투과율 픽셀들에 대해 변환 이득을 설정한 상태에서, 설정치 산출부(330)는 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하인 조건이 유지되는 한 저 투과율 픽셀과 고 투과율 픽셀들에 대해 가능한 높은 아날로그 이득을 설정할 수 있다. 이는 가능한 넓은 동적 범위를 얻을 수 있으면서도 가능한 노이즈를 억제하기 위함이다.

만일 광 노출량이 제어 가능한 항목인 경우(S300의 Yes), 설정치 산출부(330)는 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하가 되는 범위 내에서 조리개(20)가 최대한 개방되도록 광 노출량을 설정할 수 있다(S380).

광 노출량이 특정 설정치로 고정된 상태에서, 설정치 산출부(330)는 노광 시간이 제어 가능한 항목인지 판단할 수 있다(S390).

만일 노광 시간이 제어 가능한 항목인 경우(S390의 Yes), 설정치 산출부(330)는 제1 설정 제어를 수행할 수 있다(S320). 이는 광 노출량이 고정되어 제어 가능한 항목이 아닌 조건에서 노광 시간이 제어 가능한 항목이기 때문이다.

만일 노광 시간이 제어 가능한 항목이 아닌 경우(S390의 No), 설정치 산출부(330)는 제3 설정 제어를 수행할 수 있다(S360). 이는 광 노출량이 고정되어 제어 가능한 항목이 아니고 노광 시간이 제어 가능한 항목인 조건에서, 타겟 영역에서 포화된 저 투과율 픽셀이 제2 비율 이하가 되는 범위 내에서 조리개(20)가 최대한 개방되도록 설정되어 타겟 영역에서 소정 값 이하의 응답을 갖는 고 투과율 픽셀이 제1 비율 미만이 될 가능성이 높은 상태이기 때문이다.

다시 도 9를 참조하면, 설정치 산출부(330)는 제어 가능한 항목에 대한 설정치를 나타내는 제어 신호(CS)를 조리개 드라이버(40) 및 이미지 센싱 장치(100)로 전송할 수 있다. 조리개 드라이버(40)는 제어 신호(CS)에 대응하는 광 노출량을 갖도록 조리개(20)의 개방 정도를 제어할 수 있다. 또한, 이미지 센싱 장치(100)의 타이밍 컨트롤러(170)는 각 픽셀이 제어 신호(CS)에 대응하는 노광 시간, 변환 이득 및 아날로그 이득을 갖도록 로우 드라이버(120) 및 ADC(14)를 제어할 수 있다.

이미지 센싱 장치(100)는 제어 신호(CS)에 따른 제어가 완료된 상태에서 장면을 캡쳐하여 이미지 데이터(IDATA)를 이미지 신호 프로세서(200)로 전송하고, 이미지 신호 프로세서(200)는 감도가 서로 다른 적어도 2 이상의 이미지를 합성하여 HDR 이미지를 생성할 수 있다(S40). 이미지 데이터(IDATA)의 감도의 종류는 광 투과율, 노광 시간, 변환 이득 및 아날로그 이득이 조합되어 다양하게 결정될 수 있다. 예를 들어, 픽셀 어레이(110)에 포함된 픽셀들은 5가지 감도 중 어느 하나를 가질 수 있고, 서로 다른 감도를 갖는 두 픽셀들 각각은 감도의 대소 관계에 따라 앞서 설명된 저감도 픽셀 또는 고감도 픽셀에 해당할 수 있다.

본 발명의 일 실시예에 따른 촬영 장치(1)는 피사체의 휘도 및 제어 가능한 항목을 파악하고 감도 제어시 하드웨어의 특성(예컨대, 응답 특성)을 반영하여 제어 가능한 항목을 제어함으로써, 노이즈를 최소화하면서도 최대한의 동적 범위를 갖는 HDR 이미지를 생성할 수 있다.

Claims

각각이 입사광의 세기에 대응하는 픽셀 신호를 생성하는 복수의 픽셀들을 포함하고 상기 픽셀 신호에 대응하는 영상 데이터를 생성하는 이미지 센싱 장치;
상기 복수의 픽셀들 중 타겟 픽셀들에 대응하는 타겟 영역의 상기 영상 데이터를 획득하는 휘도 획득부;
상기 복수의 픽셀들 각각의 감도를 결정하는 감도 항목들 중 적어도 하나의 제어 가능한 항목을 획득하는 제어 가능 항목 획득부; 및
상기 타겟 영역의 상기 영상 데이터 및 상기 적어도 하나의 제어 가능한 항목에 기초하여 상기 적어도 하나의 제어 가능한 항목에 대한 설정치를 산출하여 제어 신호를 생성하는 설정치 산출부를 포함하는 촬영 장치.
제1항에 있어서,
상기 제어 신호에 따라 상기 복수의 픽셀들 각각의 감도가 조절된 상태에서 생성된 서로 다른 감도를 갖는 이미지 데이터를 합성하여 HDR(high dynamic range) 이미지를 생성하는 이미지 합성부를 더 포함하는 촬영 장치.
제1항에 있어서,
상기 감도 항목들은 광 노출량, 광 투과율, 노광 시간, 변환 이득 및 아날로그 이득 중 적어도 하나를 포함하는 촬영 장치.
제3항에 있어서,
상기 이미지 센싱 장치의 전단에 배치된 조리개의 개폐 정도를 조절하는 조리개 드라이버를 더 포함하고,
상기 광 노출량은 상기 조리개의 개폐 정도를 조절함에 의해 제어되는 촬영 장치.
제3항에 있어서,
상기 복수의 픽셀들 각각에서 상기 입사광의 세기에 따라 생성되는 광전하를 플로팅 디퓨전 영역으로 전송하기 위한 전송 신호를 생성하는 로우 드라이버를 더 포함하고,
상기 노광 시간은 상기 전송 신호가 일정 레벨을 갖는 시간을 조절함에 의해 제어되는 촬영 장치.
제3항에 있어서,
상기 복수의 픽셀들 각각에서 상기 입사광의 세기에 따라 생성된 광전하를 축적하는 플로팅 디퓨전 영역의 정전 용량을 제어하는 CG(conversion gain) 신호를 생성하는 로우 드라이버를 더 포함하고,
상기 변환 이득은 상기 CG 신호의 레벨을 조절함에 의해 제어되는 촬영 장치.
제3항에 있어서,
상기 복수의 픽셀들 각각의 상기 픽셀 신호를 램프 신호와 비교하여 비교 결과에 따라 상기 영상 데이터를 생성하는 ADC(analog-digital converter)를 더 포함하고,
상기 아날로그 이득은 상기 램프 신호의 기울기를 조절함에 의해 제어되는 촬영 장치.
제3항에 있어서,
상기 복수의 픽셀들은 상대적으로 광 투과율이 높은 적어도 하나의 고 투과율 픽셀과, 상대적으로 광 투과율이 낮은 적어도 하나의 저 투과율 픽셀을 포함하고,
상기 저 투과율 픽셀은 상기 입사광의 적어도 일부를 차단하는 광 차단 구조를 포함하는 촬영 장치.
제8항에 있어서,
상기 설정치 산출부는 상기 적어도 하나의 제어 가능한 항목에 대한 제어를 통해 상기 타겟 픽셀들 각각이 포화되는지 여부를 판단하는 촬영 장치.
제9항에 있어서,
상기 타겟 픽셀들에 포함된 상기 고 투과율 픽셀들이 포화되지 않으면, 상기 설정치 산출부는 상기 노광 시간을 유일한 값으로 설정하는 촬영 장치.
제8항에 있어서,
상기 타겟 픽셀들에 포함된 상기 고 투과율 픽셀들의 영상 데이터의 평균 값이 미리 정해진 값보다 작은 경우, 상기 설정치 산출부는 상기 노광 시간을 유일한 값으로 설정하는 촬영 장치.
제8항에 있어서,
상기 적어도 하나의 제어 가능한 항목이 상기 노광 시간, 상기 변환 이득 및 상기 아날로그 이득을 포함하고 상기 광 노출량이 제어 불가능한 항목인 경우, 상기 설정치 산출부는 상기 고 투과율 픽셀들에 대해 제1 변환 이득을 포함하는 복수의 변환 이득들, 제1 노광 시간을 포함하는 복수의 노광 시간들 및 제2 아날로그 이득을 설정하고, 상기 저 투과율 픽셀에 대해 제2 변환 이득, 제2 노광 시간 및 제2 아날로그 이득을 설정하고,
상기 제1 변환 이득은 상기 제2 변환 이득보다 크고,
상기 제1 노광 시간은 상기 제2 노광 시간보다 길고,
상기 제2 아날로그 이득은 제1 아날로그 이득보다 작은 촬영 장치.
제12항에 있어서,
상기 설정치 산출부는 상기 타겟 영역에서 소정 값 이하의 응답을 가지는 상기 고 투과율 픽셀들이 제1 비율 미만이 되도록 상기 제1 노광 시간을 결정하고, 상기 타겟 영역에서 포화되는 상기 저 투과율 픽셀들이 제2 비율 이하가 되도록 상기 제2 노광 시간을 결정하는 촬영 장치.
제13항에 있어서,
상기 적어도 하나의 제어 가능한 항목이 상기 변환 이득 및 상기 아날로그 이득을 포함하고 상기 광 노출량 및 상기 노광 시간이 제어 불가능한 항목이고, 상기 타겟 영역에서 포화된 상기 저 투과율 픽셀들이 상기 제2 비율을 초과하는 경우, 상기 설정치 산출부는 상기 저 투과율 픽셀과 상기 고 투과율 픽셀에 대해 미리 정해진 패턴으로 상기 제1 변환 이득 또는 상기 제2 변환 이득을 설정하고,
상기 설정치 산출부는 상기 제1 변환 이득으로 설정된 픽셀에 대해 상기 제1 아날로그 이득을 설정하고, 상기 제2 변환 이득으로 설정된 픽셀에 대해 상기 제2 아날로그 이득을 설정하는 촬영 장치.
제13항에 있어서,
상기 적어도 하나의 제어 가능한 항목이 상기 변환 이득 및 상기 아날로그 이득을 포함하고 상기 광 노출량 및 상기 노광 시간이 제어 불가능한 항목이고, 상기 타겟 영역에서 포화된 상기 저 투과율 픽셀들이 상기 제2 비율 이하이고 상기 타겟 영역에서 상기 소정 값 이하의 응답을 가지는 상기 고 투과율 픽셀들이 상기 제1 비율 미만인 경우, 상기 설정치 산출부는 상기 저 투과율 픽셀에 대해 상기 제1 변환 이득을 설정하였을 때 상기 타겟 영역에서 포화된 상기 저 투과율 픽셀이 상기 제2 비율 이하로 유지될 수 있는지 여부에 따라 상기 저 투과율 픽셀에 대해 상기 제1 변환 이득 또는 상기 제2 변환 이득을 설정하고, 상기 고 투과율 픽셀에 대해 미리 정해진 패턴으로 상기 제1 변환 이득 또는 상기 제2 변환 이득을 설정하고,
상기 설정치 산출부는 상기 타겟 영역에서 포화된 상기 저 투과율 픽셀들이 상기 제2 비율 이하이고 상기 타겟 영역에서 상기 소정 값 이하의 응답을 가지는 상기 고 투과율 픽셀들이 상기 제1 비율 미만인 조건이 유지되는 범위 내에서 최대의 아날로그 이득을 상기 저 투과율 픽셀 및 상기 고 투과율 픽셀에 대해 설정하는 촬영 장치.
제13항에 있어서,
상기 적어도 하나의 제어 가능한 항목이 상기 변환 이득 및 상기 아날로그 이득을 포함하고 상기 광 노출량 및 상기 노광 시간이 제어 불가능한 항목이고, 상기 타겟 영역에서 포화된 상기 저 투과율 픽셀들이 상기 제2 비율 이하이고 상기 타겟 영역에서 상기 소정 값 이하의 응답을 가지는 상기 고 투과율 픽셀들이 상기 제1 비율 이상인 경우, 상기 설정치 산출부는 상기 저 투과율 픽셀에 대해 상기 제1 변환 이득을 설정하고, 상기 고 투과율 픽셀에 대해 미리 정해진 패턴으로 상기 제1 변환 이득 또는 상기 제2 변환 이득을 설정하고,
상기 설정치 산출부는 상기 타겟 영역에서 포화된 상기 저 투과율 픽셀들이 상기 제2 비율 이하인 조건이 유지되는 범위 내에서 최대의 아날로그 이득을 상기 저 투과율 픽셀 및 상기 고 투과율 픽셀에 대해 설정하는 촬영 장치.
제13항에 있어서,
상기 적어도 하나의 제어 가능한 항목이 상기 광 노출량을 포함할 경우, 상기 설정치 산출부는 상기 타겟 영역에서 포화된 상기 저 투과율 픽셀이 상기 제2 비율 이하가 되는 범위 내에서 조리개가 최대한 개방되도록 광 노출량을 설정하는 촬영 장치.
제3항에 있어서,
상기 설정치 산출부는 상기 광 투과율, 상기 변환 이득, 상기 노광 시간 및 아날로그 이득의 순서로 낮아지는 우선 순위로 상기 복수의 픽셀들 각각의 감도가 조절되도록 상기 설정치를 산출하는 촬영 장치.
각각이 입사광의 세기에 대응하는 픽셀 신호를 생성하는 복수의 픽셀들을 포함하고 상기 픽셀 신호에 대응하는 영상 데이터를 생성하는 이미지 센싱 장치;
상기 영상 데이터에 기초하여 광 노출량, 노광 시간, 변환 이득 및 아날로그 이득 중 적어도 하나의 제어 가능한 항목에 대한 설정치를 산출하여 제어 신호를 생성하는 HDR 컨트롤러; 및
상기 제어 신호에 따라 상기 복수의 픽셀들 각각의 감도가 조절된 상태에서 생성된 서로 다른 감도를 갖는 이미지 데이터를 합성하여 HDR(high dynamic range) 이미지를 생성하는 이미지 신호 프로세서를 포함하는 촬영 장치.