KR20130049825A

KR20130049825A - 고 명암비 이미지 센서

Info

Publication number: KR20130049825A
Application number: KR1020137008243A
Authority: KR
Inventors: 칼린 엠 아타나소브; 루벤 엠 벨라르데; 하우 황
Original assignee: 퀄컴 인코포레이티드
Priority date: 2010-09-01
Filing date: 2011-08-31
Publication date: 2013-05-14
Also published as: EP2612492B1; JP2016096558A; JP2013537020A; EP2612492A2; WO2012031026A2; KR101473597B1; US20120050557A1; CN103141081A; CN103141081B; WO2012031026A3; US8994843B2

Abstract

본 개시는, 한 샘플을 다른 샘플과 결합하기 전에 한 샘플에 가변 가중 팩터를 적용하는 것에 의하여 고 명암비 이미지들을 생성하기 위한 기술들을 설명한 것이다. 일 예에서, 방법은, 제 1 픽셀 셀 신호를 제 1 시간에 샘플링하여 제 1 샘플을 생성하는 단계, 제 2 픽셀 셀 신호를 제 2 시간에 샘플링하여 제 2 샘플을 생성하는 단계, 가변 가중 팩터를 제 2 샘플에 적용하는 단계, 및 이 가변 가중 팩터는 함수에 기초하여 정의되며, 제 1 샘플과 가중된 제 2 샘플이 결합하는 단계를 포함한다.

Description

고 명암비 이미지 센서{HIGH DYNAMIC RANGE IMAGE SENSOR}

본 발명은 이미지 센서, 특히 고 명암비 이미지 (High Dynamic Range Image)를 생성하기 위한 기술에 관한 것이다.

장면 (scene) 의 다이나믹 레인지는, 장면의 최대 (highest) 와 최소 (lowest) 광 레벨 (light level) 의 비에 의해서 결정된다. 센서의 다이나믹 레인지는 센서에 의하여 감지 가능한 노이즈 플로어 (noise floor) 를 넘는 최소 광 레벨에 대한 센서를 포화시키지 않은 장면의 최대 광 레벨의 비에 의하여 결정된다. 센서의 다이나믹 레인지는 예를 들어 100:1일 수도 있으나, 장면의 다이나믹 레인지는 예를 들어 100,000:1일 수도 있다. 장면의 다이나믹 레인지가 센서의 다이나믹 레인지를 초과하는 때, 최대 광 레벨과 최소 광 레벨 부분의 디테일한 부분은 상실된다.

노출은 센서의 다이나믹 레인지가 가능한 한 많은 광 레벨을 커버하는 방식으로 조정될 수도 있다. 노출은 센서의 다이나믹 레인지를 증가시킬 수 없다. 그러나, 둘 이상의 다른 장면의 노출을 결합하는 것은 단일 노출에 의해 가능한 다른 방법을 사용할 때보다 높은 다이나믹 레인지가 허용될 수도 있다.

장면의 고 명암비 이미지 (HDR image) 를 생성하기 위하여 상이한 노출을 결합하는 것과 관련하여 다양한 센서 제조사들은 이미지 센서들의 다이나믹 레인지를 극복하기 위한 다양한 기술들을 채용해왔다. 일부 기술들은 다른 가능한 방법보다 나은 고 명암비 이미지를 형성하기 위하여, 다른 시간에 노출된 두 가지 이미지들을 정렬하는 소프트웨어적 해법을 제공한다. 다른 기술들은, 예를 들어 센서를 수정하여, 한 장면의 두 이미지들을 캡쳐하고, 고 명암비 이미지를 형성하기 위하여 이미지들을 정렬하는 하드웨어적인 해법을 제공한다.

일반적으로, 본 발명은 하나의 샘플을 다른 샘플과 결합하기 전에 가변 가중 팩터를 샘플에 적용하여 고 명암비 이미지들을 생성하는 기술들에 관한 것이다. 이미지 센서는 고 명암비 이미지를 생성하기 위하여 결합될 수도 있는 둘 이상의 샘플들을 생성하기 위하여 상이한 둘 이상의 노출 시간들에서 하나의 픽셀 셀의 신호를 샘플링할 수도 있다. 하지만 긴 노출 시간은 그 픽셀 셀의 감광성 반도체가 포화되는 것을 일으킬 수도 있다. 둘 이상의 샘플들이 결합되기 전에, 가변 가중 팩터가 포화된 감광성 반도체의 기여를 줄이거나 없애기 위하여, 긴 노출 시간에 의해 생성된 신호에 가변 가중 팩터가 적용될 수도 있다.

일 실시예에서, 본 발명은, 제 1 샘플을 생성하기 위하여 제 1 픽셀 셀 신호를 제 1 시간에 샘플링하고, 제 2 샘플을 생성하기 위하여 제 2 픽셀 셀 신호를 제 2 시간에 샘플링하고, 가변 가중 팩터를 제 2 샘플에 적용하고, 그 가변 가중 팩터는 함수에 의하여 정의되며, 제 1 샘플에 가중된 제 2 샘플을 결합하는 것을 포함하는 방법을 지시한다.

다른 실시예에서 본 발명은, 복수의 픽셀 셀들과, 복수의 픽셀 셀들 중 적어도 하나로부터 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고, 복수의 픽셀 셀들 중 적어도 하나로부터 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 컨트롤러를 포함하는 이미지 센서를 포함하는 시스템을 지시한다. 이 시스템은 가변 가중 팩터를 제 2 샘플에 적용하며, 그 가변 가중 팩터는 함수에 의하여 정의되며, 제 1 샘플에 가중된 제 2 샘플을 결합하는 프로세서를 더 포함한다.

다른 실시예에서, 본 발명은 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 수단, 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 수단, 가변 가중 팩터를 샘플에 적용하는 수단, 그 가변 가중 팩터는 함수에 의하여 정의되며, 제 1 샘플과 가중된 제 2 샘플을 결합하는 수단을 포함하는 시스템을 지시한다.

다른 실시예에서, 본 발명은 하나 이상의 프로세서들에서 실행되었을 때, 하나 이상의 프로세서들이 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고, 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하고, 제 2 샘플에 가변 가중 팩터를 적용하고, 그 가변 가중 팩터는 함수에 의하여 정의되며, 제 1 샘플에 가중된 제 2 샘플을 결합하는 것을 일으키는 명령들을 포함하는 컴퓨터로 판독 가능한 기록매체를 지시한다.

이하, 본 발명의 하나 이상의 실시예들의 상세는 아래 도면들 그리고 상세한 설명과 함께 앞으로 기재될 것이다. 다른 발명의 특징들, 목적들 그리고 장점들은 상세한 설명과 도면들, 그리고 청구항에 의하여 명확해질 것이다.

도 1 은, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 일 예시적인 픽셀 셀의 개략도이다.
도 2 는, 본 발명의 기술에 따라 결합하는 것을 위한 설계에 사용될 수도 있는 결합 모양 곡선 그래프의 예시이다.
도 3 은, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 이미지 센서의 블록 다이어그램이다.
도 4 는, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 다른 이미지 센서의 블록 다이어그램이다.
도 5 는, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 다른 이미지 센서의 블록도이다.
도 6 는, 본 발명의 기술에 따라 짝수 라인과 홀수 라인들로부터, 짧은 노출 시간과 긴 노출시간 샘플들을 결합하는 것을 설명하는 개념도이다.
도 7 은, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 일 실시예를 설명한 흐름도이다.
도 8 은, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 다른 실시예를 설명한 흐름도이다.
도 9 는, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 다른 실시예를 설명한 흐름도이다.
도 10 은, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 다른 실시예를 설명한 흐름도이다.

본 발명은, 하나의 샘플을 다른 샘플과 결합하기 전에 가변 가중 팩터를 일 샘플에 적용하여, 고 명암비 (High Dynamic Range, HDR) 이미지들 (예를 들어, 정지 이미지들이나 비디오 이미지들) 을 생성하기 위한 기술들을 설명한 것이다. 고 명암비 (HDR) 이미지는 표준 이미징 (imaging) 기술들에 의해서 생성되는 이미지들보다 큰 다이나믹 레인지 (예를 들어, 이미지에서 최소 강도 광 레벨 (light level) 에 대한 최대 강도 광 레벨의 비) 를 갖는 이미지를 언급하는 것이다. 일 예시적 HDR 이미징 기술은 노출 시간들 중 어느 하나로부터, 생성된 이미지의 다이나믹 레인지보다 큰 다이나믹 레인지를 갖는 결합된 이미지를 생성하기 위해 상이한 노출 시간들에 의해 캡쳐된 이미지들을 결합한다. 본 발명은 하나의 HDR 이미지를 생성하기 위하여 이미지들을 결합하기 전에 가변 가중 팩터를 상이한 노출 시간들에 캡쳐된 이미지들 중 하나에 적용하는 기술들을 제공한다.

도 1 은 본 발명의 기술들을 실시하기 위하여 사용될 수도 있는 하나의 예시적인 픽쳐 엘리먼트 ("픽셀") 셀의 개략도이다. 도 1 에서 예시적인 픽셀 셀 (10) 은 감광성 반도체 (12), 스위치들 (14,16, 및 18), 캐패시터 (20), 그리고 트랜지스터들 (22, 24) 을 포함한다. 스위치들 (14, 16, 및 18) 은 예를 들어 트랜지스터일 수도 있다. 등가 캐패시터 (28) (점선으로 도시됨) 로 나타낸 바와 같이 캐패시턴스는 감광성 반도체 (12) 에 연관되어 있다. 감광성 반도체 (12) 의 음극은 스위치 (14) 를 통해서 전압 소스인 V_DD 에 연결되고, 감광성 반도체 (12) 의 양극은 그라운드이거나 전압 소스 V_DD 보다 낮은 다른 전위를 가질 수도 있는, 참조 전압 V_SS 에 연결된다. 그러므로 감광성 반도체 (12) 는 역방향 바이어스 (reverse-biased) 되고, 이는 노드 (node) (30) 가 양극보다 높은 전위를 갖기 때문이다.

트랜지스터 (22) 의 게이트는 스위치 (16) 을 통해서 감광성 반도체 (12) 의 음극에 연결된다. 또한 트랜지스터 (22) 의 게이트는 스위치 (18) 를 통해서 캐패시터 (20) 에 연결된다. 트랜지스터 (22) 의 드레인 (drain) 은 전압 소스 V_DD에 연결되며, 트랜지스터 (22) 의 소스는 트랜지스터 (24) 의 드레인에 연결된다. 트랜지스터 (24) 의 게이트 (26) 는 행 선택 드라이버 회로 (row select driver circuitry) 에 연결되며 이하에서 더 자세히 설명할 것이다. 트랜지스터 (24) 의 소스는 픽셀 셀의 출력 라인 (output line) (32) 으로 가는 커넥터이다.

트랜지스터들 (22, 24) 는 이들 개개의 벌크들이 연결됨이 없이, 인핸스드 모드 MOSFET (metal-oxide-simiconducotr field-effect transistors) 로서 도시되어 있지만, 다양한 다른 형태의 구성들이 가능하다는 것을 주지하여야만 한다. 추가로, 트랜지스터들 (22, 24) 는 아래에서 n-MOS 타입 트랜지스터로 설명했음에도, 다른 예시 구성들에서는, 트랜지스터들 (22, 24) 는 p-MOS 타입 트랜지스터가 될 수도 있다.

감광성 반도체 (12) (예를 들어, 포토 다이오드) 는 입사하는 광의 포톤들 (photons) 을 전하 (electric charge) 로 변환시키는 장치이다. 감광성 반도체 (12) 가 광에 노출되는 시간 동안 (즉, 인테그레이션 (integration) 시간이라 한다) 입사하는 광으로부터의 포톤들은 그 감광성 반도체로 하여금 그 감광성 반도체의 한 영역 내에서 전하 캐리어 (charge carrier) 를 발생시키도록 한다. 발생되는 전하 캐리어의 양은 입사한 광의 양에 비례한다. 광의 강도가 커질수록, 발생되는 전하 캐리어의 양이 커진다. 감광성 반도체는, 입사하는 광의 증가량만큼 전하 캐리어의 양이 증가할 수 없다면, 포화 (saturated) 될 수도 있다. 감광성 반도체가 포화되었다면, 더 이상 입사한 광의 양에 대한 정확한 지표가 되지 못한다는 점을 고려해야 한다. 이를 테면, 그 포화된 감광성 반도체는 적은 값의 정보만 갖는다.

도 1 의 참조번호 (28) 에서 보였으며 위에서 언급한 바와 같이, 감광성 반도체 (12) 는 (예를 들어 포토 다이오드) 등가 캐패시턴스를 갖는다. 광에 노출되기 전에, 픽셀 셀 (10) 은 초기 전압을 갖도록 리셋될 수도 있다. 특히, 예를들어 감광성 반도체 (12) 와 이것의 등가 캐패시턴스 (28) 는 초기전압 V_DD 으로 리셋될 수도 있다. 도 1 에 도시된 예시에서, 도 1 의 픽셀 셀 (10) 을 리셋하기 위하여 리셋 스위치 (14) 는 닫힐 수도 있다. 특히, 리셋 스위치 (14) 를 닫는 것은 전압 V_DD 를 공급하기 위하여, 노드 (30) 와 감광성 반도체 (12) 그리고 이것의 등가 캐패시터 (28) 를 연결한다. 도 1 에서 픽셀 셀 (10) 은 전압 V_DD를 공급하기 위하여 리셋되는 것으로 도시되어 있으나, 다른 실시예에서는, 픽셀 셀 (10)은 픽셀 셀 (10) 전용 리셋 전압으로 동작하는 공급 전압 V_DD 와 유사하거나 혹은 다른 제 2 전압을 포함할 수도 있다. 리셋 스위치 (14) 를 닫는 것은 감광성 반도체 (12) 의 전하를 배출하며, 등가 캐패시터 (28) 를 알려진 전압 V_DD로 충전한다. 게다가, 스위치들 (16, 18) 은, 캐패시터 (20) 로 하여금, 알려진 전압 V_DD로 충전될 수 있게끔, 리셋 시에 닫힌다.

픽셀 셀 (10) 이 리셋된 후에, 리셋 스위치 (14) 와 스위치들 (16, 18) 은 열리고, 감광성 반도체 (12) 는 광에 노출된 때 포톤들을 전하로 변환하는 것을 시작한다. 광에 노출된 때, 즉 감광성 반도체의 인테그레이션 시간의 시작시에, 감광성 반도체 (12) 는 전하 캐리어를 생성하기 시작한다. 감광성 반도체 (12) 는 역방향-바이어스가 걸렸기 때문에, 광전류 (photocurrent) 는 감광성 반도체 (12) 의 음극에서 양극으로 흐르게 될 것이다. 광전류는 입사된 광의 양에 비례한다. 광의 강도가 증가하면, 감광성 반도체 (12) 에 의해 생성되는 전하 캐리어의 양이 커지며, 그것에 의해서 광전류가 커진다. 그 광전류는 등가 캐패시터 (28) 을 방전시키기 시작한다.

픽셀 셀 (10) 은 제 1 시간에, 예를 들어 짧은 노출 시간에, 제 1 픽셀 셀 신호를 샘플링하고, 제 2 시간에, 예를 들어 긴 노출 시간에, 제 2 픽셀 셀 신호를 샘플링하는데 사용될 수도 있다. 짧은 노출 시간, T_short, 이후 픽셀 셀 (10) 은 스위치들 (16, 18) 이 닫히는 것에 의해 감광성 반도체 (12) 로부터 제 1 신호를 샘플링할 수도 있다. 컨트롤러 (예를 들어 도 3 의 컨트롤러 (54)) 는 짧은 노출 시간의 전하를 감광성 반도체 (12), 특히, 이것의 등가 캐패시터 (20) 로부터, 캐패시터 (28) 로 전달하기 위하여 스위치들 (16, 18) 을 닫는다. 전하가 감광성 반도체 (12) 로부터 캐패시터 (20) 로의 전달을 완료할 충분한 시간이 지난 후에, 컨트롤러 (예를 들어 도 3 의 컨트롤러 (54)) 는 스위치들 (16, 18) 을 열어서, 캐패시터 (20) 를 거쳐 시간 T_short 동안 감광성 반도체 (12) 에 입사된 광의 양을 나타내는 전압을 캡쳐한다. 이러한 방식으로, 캐패시터 (20) 은 짧은 노출 시간 샘플을 수집한다.

한편, 광은 감광성 반도체 (12) 에 부딪히는 것을 계속할 수도 있다. 입사하는 광은 감광성 반도체 (12) 에서 전하 캐리어를 만드는 것을 계속할 수도 있으며, 그것에 의해서, 등가 캐패시터 (28) 은 추가로 방전된다. 긴 노출 시간, 예를 들어, T_long (T_long > T_short) 이후, 긴 노출 시간 샘플은 등가 캐패시터 (28) 에 남아 있는 전압을 의미하게 된다. 이 점에서, 긴 노출 시간 샘플은 스위치 (16) 을 닫고, 트랜지스터 (24) (이하에서 더 자세히 설명) 의 게이트 (26) 에 행 선택 신호를 적용함으로써, 판독될 수도 있다. 컨트롤러 (예를 들어 도 3 의 컨트롤러 (54)) 는 트랜지스터 (22와 24) 를 턴온하기 위하여, 스위치 (16) 를 닫고, 트랜지스터 (24) (이하에서 더 자세히 설명) 의 게이트 (26) 에 행 선택 신호를 제공한다. 그 후 긴 노출 시간 샘플을 나타내는 전압은, 그때 픽셀 셀 (10)을 통해 판독되는데, 상세하게는, 라인 (32) 를 거쳐 트랜지스터들 (22, 24) 를 통해 등가 캐패시터 (28) 로부터 판독된다.

긴 노출 시간 샘플이 판독된 후에, 캐패시터 (20) 에 저장되어 있는 짧은 노출 시간 샘플이 판독될 수도 있다. 짧은 노출 시간 샘플은 스위치 (16) 를 열고, 스위치 (18) 를 닫으며, 트랜지스터 (24) 의 게이트 (26) 에 행 선택 신호를 제공함으로써 판독될 수도 있다. 스위치 (18) 을 닫으며, 트랜지스터 (24) 의 게이트 (26) 에 행 선택 신호를 적용하는 것은 트랜지스터 (22, 24) 를 턴온시킨다. 짧은 노출 시간 샘플을 의미하는 캐패시터 (30) 에 저장된 전압은, 라인 (32) 를 거쳐 픽셀 셀 (10) 으로부터 판독된다. 판독된 전압은 캐패시터 (30) 양단에 걸친 전압에서 트랜지스터 (22, 24) 의 임계 전압 (threshold voltage) 을 뺀 값과 대략 동일하다.

몇몇 구현 예들, 예를 들어 CMOS (complimentary MOS) 이미지 센서를 이용한 구현 예들에서는, 상관 이중 샘플링 (correlated double sampling) 을 수행하는 것이 바람직할 수도 있다. 몇몇 타입들의 노이즈, 예를 들어 FPN (fixed pattern noise) 은, 상관 이중 샘플링을 이용하여 감소 또는 제거될 수 있다. 즉, 어레이 전반에 걸쳐 감광성 반도체들이 동일하지 않기 때문에, 상관 이중 샘플링은 어레이에서의 감광성 반도체들에 걸친 비균일성을 감소 또는 제거하기 위해 사용될 수도 있다. 이미지 센서에 대한 컨트롤러 (예를 들어 도 3 의 컨트롤러 (54)) 는 스위치 (14) 를 닫는 것에 의해 상관 이중 샘플링을 행할 수도 있으며, 그것에 의해서 픽셀 셀 (10) 은 기준 전압 V_DD 로 리셋되며, 그 다음 픽셀 셀이 리셋된 이후의 픽셀 셀의 출력 레벨 (level) 를 샘플링한다. 즉, 픽셀 셀의 수치가 판독된 후, 그 컨트롤러는 픽셀 셀 (10) 과 같은 픽셀 셀의 리셋 수치를 리셋하고, 샘플링하고, 판독할 수도 있다. 그때 그 컨트롤러는 신호의 표시를 더 정확하게 제공하기 위하여 신호 샘플의 수치에서, 픽셀 셀의 리셋 수치를 감할 수도 있다.

본 발명의 기술들에 따라, 짧은 노출 시간 샘플과 긴 노출 시간 샘플은, 가변 가중 팩터가 긴 노출 시간 샘플에 적용된 이후에, 프로세서에 의하여 결합될 수도 있다. 함수에 의하여 정의되는 가변 가중 팩터가 긴 노출 시간 샘플에 적용되는 것에 의해, 두 개의 상이한 노출 시간들에 의해 제공되는 다이나믹 레인지는 개선될 수도 있다. 특히, 픽셀 셀이 긴 노출 시간 이후에 포화되었다면, 그 긴 노출 시간 샘플의 기여는, 짧은 노출 시간 샘플과 긴 노출 시간 샘플이 결합하는 동안, 그 가중 팩터에 의해 줄어들거나 없어질 수도 있다. 위에서 언급했듯이, 감광성 반도체가 포화된다면, 그것은 더 이상 입사되는 광의 양의 정확한 지표가 될 수 없다. 이를 테면, 포화된 감광성 반도체는 적은 값의 정보를 갖는다. 하지만 짧은 노출 시간 동안에 픽셀 셀이 포화될 가능성은 없다. 한편, 짧은 노출 시간 샘플은 포화되거나 과노출된 긴 노출 시간 샘플보다 많은 가치있는 정보를 가진다.

긴 노출 시간 샘플과 짧은 노출 시간 샘플이 결합하는 동안에 긴 노출 시간 샘플의 기여를 줄이거나 없애기 위해서, 다음과 같은 설계가 사용될 수도 있다.

(1) M(i, j) = C(S_LONG(i, j))

(2) S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i + H(i, j), j + V(i, j))*(1- M(i, j))

S_COMBINED는 (i,j) 에 위치된 픽셀 셀에서 짧은 노출 시간 샘플 S_SHORT(i,j) 와 긴 노출 시간 샘플 S_LONG(i,j) 의 결합이고, C( ) 는 긴 노출 시간 샘플 S_LONG(i,j) 가 포화됨에 따라, 1 의 값에서부터 0 의 값으로 감소하는 결합하는 곡선이며, M(i,j) 는 C( ) 에 의해 가중된 긴 노출 시간 샘플 S_LONG(i,j) 의 스칼라 값이며, n 은 짧은 노출 시간 (T_SHORT) 과 긴 노출 시간 (T_LONG) 사이의 노출 시간의 차이에 의존하는 스칼라 값이며 이 값은 T_LONG/T_SHORT 와 같고, H(i,j) 와 V(i,j) 는 각각 수평과 수직 정렬 변수들을 의미하며, 이는 발명을 실시할 때 두 가지 노출들이 순차적으로 일어나기 때문에 생기는 카메라의 움직임 및/혹은 대상물의 움직임을 보정하기 위해 필요할 수도 있다.

두 가지 노출 시간이 순차적으로 이루어지기보다는 계속적이게 일어나는 예시적인 실시들에서, H(i,j) 와 V(i,j) 는 0 과 같은 것이며 위의 식 (2) 는 다음의 식 처럼 줄어들 수도 있다.

(3) S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1- M(i, j))

위에서 언급했듯이, 식 (2) 와 식 (3) 에 있는 상기 긴 노출 시간 샘플S_LONG(i,j) 은 스칼라 값 n 에 의해 수정될 수 있다. 상기 스칼라 값 n 은 짧은 노출 시간과 긴 노출 시간의 비를 포함할 수도 있다. 상기 스칼라 값 n 은, 긴 노출 시간 샘플 S_LONG(i,j) 와 짧은 노출 시간 샘플 S_SHORT(i,j) 를, 이 두 가지 샘플들을 공통 베이스에 가져옴으로써, 표준화 (normalize) 할 수도 있다. 즉, 식 (2) 와 식 (3) 에 의하여 설명되는 결합 설계는, 대상물이 두 가지 이미지에서 동일한 레벨 (level) 로 보이게 되도록, 두 이미지를 결합하기 전에, n 값을 조정할 수도 있다. 예를 들어, 장면 프레임의 절반이 100 lux 값의 휘도를 갖고, 다른 절반은 1000 lux 값의 휘도를 갖는다고 가정하자. 그 프레임은 휘도비 10:1 을 갖는다. 더 나아가서, S_SHORT 는 상기 프레임의 1000 lux 부분에 대응하고, S_LONG 은 상기 프레임의 100 lux 부분에 대응하며, 긴 노출 시간 T_LONG은 1초이고, 짧은 노출 시간 T_SHORT 는 0.1초라고 가정하자. 두 개의 다른 노출 시간 샘플들을 결합하기 위하여, 1000 lux의 상기 짧은 노출 시간 샘플은 100 lux 긴 노출 시간 샘플에 대해 하방으로 스케일링 (scaled downward) 되어야 한다. 프로세서 (예를 들어 도 3 의 프로세서 (76)) 는, 노출 시간의 차이를 고려하여 짧은 노출 시간 샘플 S_SHORT를 표준화하도록, 짧은 노출 시간 샘플 S_SHORT 에 노출 시간들의 비, 예를 들어 T_LONG/T_SHORT를 곱할 수도 있다.

포화에 더하여, 픽셀 셀의 "노이즈 플로어 (noise floor)", 즉 입사하는 광의 부재 하에서 픽셀 셀에 의해 생성되는 낮은 레벨의 신호은, 다이나믹 레인지를 줄이는 한 팩터가 된다. 노이즈 플로어의 관점에서, 상기 짧은 노출 시간 샘플 S_SHORT(i,j) 와 긴 노출 시간 샘플 S_LONG(i,j) 은, SNR (signal-to-noise) 의 효율적 방식으로 결합될 수도 있다. 즉, 샘플이 픽셀 셀 자신의 SNR보다 작은 값을 가진다면, 샘플은 폐기될 수도 있다.

도 2 는, 본 발명의 기술에 따라 결합하는 설계로 사용될 수도 있는 하나의 예시적인 결합 곡선 즉, C( ) 이다. 도 2 에서 도시된 그래프에서 x축은, 긴 노출 시간 이후 픽셀 셀 어레이 위에 공간적 장소 (i,j) 에 있는 픽셀 셀의 루마 (luma) 값을 나타낸다. 도 2 에서 도시된 그래프에서 y축은, 일반적으로 40 으로 도시된 결합 곡선 C( ) 으로 정의되는 S_LONG(i,j) 의 가중 값 M(i,j) 을 나타낸다.

만약 (i,j) 에 위치해 있는 상기 픽셀 셀이 긴 노출 시간에 노출되지 않았다면, S_LONG(i,j) 의 값은 0 이 된다. 만약 (i,j) 에 위치해 있는 상기 픽셀 셀이 긴 노출 시간 이후에 포화되었다면, S_LONG(i,j) 는 최대 값, 예를 들어, 8-bit로 구현예에서는 255 에 있게 된다. 도 2 에 도시된 것처럼, S_LONG(i,j) 가 커질수록 M(i,j) 값은, S_LONG(i,j) 가 약 210 의 값을 가질 때까지, "1"의 값을 유지한다. 약 230 의 S_LONG(i,j)값에서 가중 값 M(i,j)이 "0"의 값에 도달할 때까지, 결합곡선 C( ) 는 S_LONG(i,j) 값들 약 210 와 약 230 사이에서 급격히 감소하기 시작한다. S_LONG(i,j) 값이 약 210 과 약 230 사이 일 때, 가중 값 M(i,j) 는 "0"과 "1"사이의 값 일 수도 있다. 예를 들어, S_LONG(i,j) 값이 약 220 일 때, 가중 값 M(i,j) 는 약 0.5 이다.

일 실시예에서, (i,j) 에 위치한 픽셀 셀이 포화된다면, S_LONG(i,j)=255 (8-bit 구현의 경우) 이고, M(i,j) = C(S_LONG(i,j)) = C(255) = 0 이다. 식 (3) 에 의하여, S_COMBINED(i, j) = n*S_LONG(i, j) * 0 + S_SHORT(i, j)*(1) = S_SHORT(i, j) 이다. 그러므로, 위에서 설명한 결합 설계을 사용하여, 포화된 샘플 S_LONG(i,j) 의 기여는, 결합된 값인 S_COMBINED(i, j)에서 완전히 제거될 수도 있다.

식 (2) 와 식 (3) 에서 알 수 있는 바와 같이, 결합의 결과인 S_COMBINED(i,j)는 S_LONG(i,j)의 포화 레벨에 기초하여 가중될 수 있다. 만약 긴 노출 시간 이후에 (i,j)에 위치한 픽셀 셀이 완전히 포화되었다면, M(i, j) = 0 이고 S_LONG(i, j) 은 결합의 결과인 S_COMBINED(i, j) 에 아무런 영향을 미치지 않는다. 위에서 언급한 것처럼, 포화된 픽셀 셀은, 적은 값의 정보를 가지며, 두 개의 상이한 노출 시간 레벨, 즉, S_SHORT(i,j) 와 S_LONG(i,j) 에 의해 제공되는 다이나믹 레인지의 증가의 이익을 최대로 활용하기 위하여, 결합된 결과인 S_COMBINED(i, j) 에서 제거될 수도 있다. 만약 (i,j)에 위치한 픽셀 셀이 긴 노출 시간 이후에 포화에 가깝지 않다면, 예를 들어 도 2에서 S_LONG(i,j) 이 약 200 보다 작다면, M(i, j)=1 이고, 오직 긴 노출 시간 샘플 S_LONG(i,j) 만이 영향을 갖는다.

도 2 에서 도시된 상기 예시 결합 곡선 C( ) 는 3가지 구획들 (42, 44, 및 46) 을 포함한다. 다른 실시예들에서, 결합 곡선 C( )는 더 많거나, 혹은 더 적은 구획들을 가질 수도 있다. 도 2 에서 보는 것처럼, 결합 곡선 C( )는 긴 노출 시간 샘플 S_LONG(i,j)이 증가함에 따라 일반적으로 감소하는 함수로 고려될 수 있다. 다른 실시예들에서, 결합 곡선 C( )는 덜 급격하게 감소할 수도 있다.

M(i, j)=1인 구획 (42) 과 M(i, j)=0인 구획 (46) 에 대응하는 두 가지 극한 조건들이 위에서 설명되었다. 이 두 가지 극한 조건에서, S_LONG(i,j) 또는 S_SHORT(i,j) 각각의 기여는 결합 값 S_COMBINED(i, j)에서 완전히 제거된다. 하지만 만약, 긴 노출 시간 샘플 S_LONG(i,j)의 값이 구획 (44) 에 대응한다면, 0 < M(i, j) < 1이다. 한편, 결합 값 S_COMBINED(i, j)는 긴 노출 시간 샘플 S_LONG(i,j)과 짧은 노출 시간 샘플 S_SHORT(i,j) 둘 모두의 기여들을 포함한다. 도 2에 도시된 바와 같이, 긴 노출 시간 샘플 S_LONG(i,j)의 값이 증가할수록, 가중 값 M(i, j)는 감소하고, 식 (2) 와 식 (3) 에 따라, 결합된 값 S_COMBINED(i, j)에 대한 긴 노출 시간 샘플 S_LONG(i,j)의 기여는 줄어든다.

본 발명에 기술된, 도 2 에 도시된 함수 C( ) 와 같이, 결합 방식에 가변 가중 함수를 사용함으로써 센서의 다이나믹 레인지는 변경 가능 또는 프로그램가능하도록 만들어질 수 있다. 모든 픽셀 셀은, 특정 픽셀 셀을 위한 긴 노출 시간 샘플 S_LONG(i,j) 의 값에 따라 변화하는, 상이한 가중 값 M(i, j) 을 가질 수 있다. 이미지 센서를 구성하는데 사용되는 캐패시터들의 값에 기초하여 센서의 다이나믹 레인지가 고정되는 다른 이미지 센서들과는 달리, 본 발명의 기술들을 사용하여 다이나믹 레인지가 특정 장면에 따라 적응가능하게 된다. 예를 들어, 특정 장면을 위하여 디지털 카메라가 4 가지 f-스톱들 (f-stops) (f-스톱들은 디지털 카메라를 위한 다이나믹 레인지의 척도임) 을 갖도록 설정하는 것이 바람직할 수도 있다. 노출 시간은 4 가지 f-스톱들을 제공하기 위하여 조정되어야 할 수도 있으며, 그리고 이때 상기 두 가지 노출 시간들에 의한 상기 두 가지 샘플들은 결합될 수도 있다.

위에서 언급했듯이 다수의 결합 곡선이 다른 노출 시간들의 이미지들을 결합하는데에 사용될 수도 있고, 이것처럼 본 발명은 도 2 에 도시된 결합곡선이나 위의 설명에 의해서 제한되지 않는다. 일 실시예에서, 결합 곡선은 뒤이어 오는 3 가지 가이드 라인 중 하나 이상에 따라 생성될 수도 있다. 첫 번째로, 결합 곡선은 이미지 레벨에 종속될 수도 있다. 두 개의 이미지들 중 어느 것이 대등한 결과들로 이용될 수도 있지만 두 개의 곡선들은 상이하다. 두 번째로 결합 곡선은 노이즈가 보다 큰 이미지 보다 노이즈가 보다 작은 이미지에 보다 큰 가중처리를 할 수도 있다. 예를 들어, 짧은 노출 시간 샘플 S_SHORT(i, j) 보다 적은 노이즈를 가지고 있을 것 같은, 긴 노출 시간 샘플 S_LONG(i, j)은 S_SHORT(i, j) 보다 더 크게 가중될 수도 있다. 하지만 몇몇 예시들에서, 한 이미지가 다른 쪽보다 더 크게 가중되기보다는, 동일한 이득 결합이 사용될 수도 있다. 세 번째 예시로 상기 결합 곡선은 단조롭게 감소할 수도 있다.

이미지의 노이즈 통계치들에 대해 사전에 얼마나 많이 알려졌는지에 기초하여, 위의 가이드 라인을 만족할 수도 있는 몇 가지 결합 방법론이 있을 수도 있다. 제 1 예시 방법론에서, 0 또는 1인 곡선을 결합한 선택이 이용될 수도 있다. 긴 노출 이미지 레벨이 포화와 가깝지 않은 경우 긴 노출 시간 이미지가 전체적으로 사용될 수도 있고, 긴 노출 이미지 레벨이 포화와 가까운 경우 짧은 노출 시간 이미지가 전체적으로 사용될 수도 있는 것이 합리적이다.

제 2 예시 결합 방법론에서는, 노이즈 레벨들에 반비례하게 각각의 이미지를 스케일한 최대 비율 결합을 활용하고 이미지 레벨에 기초하여 노이즈 통계치를 모델화하기 위한 앞선 지식들이 사용될 수도 있다. 이러한 예시들에서, 1 에서 0으로 변화가 좀 더 완만하게 이루어지도록, 제 1 예시 방법론이 사용될 수도 있다. 한 결합 곡선 C(L) 은 아래 식을 이용하여 생성될 수도 있다.

(4)

여기서 L은 S_LONG(i,j)에 관련된 루마 값이이며, 예를 들어 (R+G+B)/2, max(R,G,B)등과 같은, R, G, B 컴포넌트들의 조합이고, 8-bit 구현에서 0-255 의 값을 갖고, T는 결합 함수 곡선의 변화 점을 제어하는 루마 값 (예를 들어, 도 2 에서 도시된 예시 곡선에서 T = 220) 의 범위의 임계값이고, Δ는 결합 곡선이 변화 범위를 제어하는 L의 범위 내의 범위이고 (예를 들어, 도 2에서 예시된 곡선에서는 Δ=30), K는 결합 곡선의 변화 영역의 기울기를 제어하는 숫자이다 (예를 들어, 도 2 에서 도시된 예시 곡선에서 K=10).

특정 장면에서는 최소 다이나믹 레인지가 요구될 수도 있다는 점에 주지해야한다. 본 발명의 기술을 사용하여, 센서의 노이즈 특성을 증진시키기 위하여, 이미지 센서의 다이나믹 레인지는 줄어들 수도 있다. 거의 같은 노출 시간들의 (즉 T_LONG이 T_SHORT와 거의 같다면) 두 샘플들을 수집하고 결합하는 것은 노이즈를 줄여줄 수도 있다. 결합된 때에, 그 노이즈들은 두 샘플들 사이의 평균이 될 수 있고, 이는 현격하게 노이즈를 줄여줄 수도 있다.

도 3 은, 본 발명을 실시하기 위해 사용될 수도 있는 하나의 예시적인 이미지 센서의 블록도 이다. 도 3 의 이미지 센서 (50) 이 CMOS 이미지 센서이지만 , 본 발명에서 설명하고 있는 신호의 결합 기술은 예를 들어 CCD 이미지 센서를 포함하는 다른 이미지 센서에 의해서도 적용될 수 있다.

도 3 에서 도시된 바와 같이, 이미지 센서 (50) 는 다수의 픽셀 셀들 (10) 을 포함하는 픽셀 셀 어레이 (52) 를 포함한다. 픽셀 셀 어레이 (52) 는, 도 3 에서 도시된 것처럼, M행과 N열의 픽셀 셀들 (10) 이 배열되어 있다. 픽셀 셀 어레이 (52) 의 각각의 픽셀 셀 (10) 은 행과 열로 어드레스지정될 수도 있다. 예를 들어, 픽셀 셀 어레이 (52) 의 좌측 하단 코너부에 위치한 픽셀 셀 (행 M, 열 N) 에 액세스하기 위하여, 컨트롤러 (54) 는 행 어드레스 디코더 (56) (row address decoder) 에게 원하는 픽셀 셀의 행, 예를 들어 행 M 의 디지털 어드레스를 제공한다. 행 어드레스 디코더 (56) 은 수신한 행 어드레스를 디코드하고, 행 M에 전압을 인가하기 위하여 "row select"신호를 행 드라이버 (58) 에 출력하며, 그것에 의해서 예를 들어, 도 1 에 있는 트랜지스터 (24) 의 게이트 (26) 에 전압을 인가함으로써 행 M에 있는 각각의 픽셀 셀 (10) 을 선택한다. 컨트롤러 (54) 는 원하는 픽셀 셀의 열 (예를 들어 열 N) 의 디지털 어드레스를 열 어드레스 디코더 (60) (column address decoder) 에 역시 제공한다. 열 어드레스 디코더 (60) 은 수신한 열 어드레스를 디코드하고, 열 N에 전압을 인가하기 위하여 "column select"신호를 열 드라이버 (62) 에 출력하며, 그것에 의해서 열 N에 있는 각각의 픽셀 셀을 선택한다. 이러한 방식으로,행 M과 열 N에 있는 픽셀 셀 (10) 은 선택될 수도 있으며, 이것의 전압이 판독된다. 컨트롤러 (54) 는 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), ASICs (application specific integrated circuits), FPGAs (field programmable gate arrays), 혹은 이산로직 (discrete logic) 과 같은, 본 발명에서 설명한 기능들의 실행을 용이하게 하는 프로세싱 (processing) 컴퓨터 코드에 적합한, 다른 프로센서 장치를 포함할 수도 있다.

컨트롤러 (54) 에 의하여 판독된 때에, 예를 들어 행 M과 열 N에 있는, 픽셀 셀 (10) 의 전압은 샘플링되며, 샘플 앤 홀드 (S/H) 회로 (70) 에 의해서 유지된다. 블랙 레벨 보상, 일시적인 노이즈나 FPN 과 같은 노이즈의 감소, 및 증폭 (amplification) 과 같은 처리는 처리 회로 (prcessing circuit) (72) 에 의해 아날로그 신호에 대해 수행된다.

아날로그 신호들이 처리 회로 (72) 에 의해서, 블랙 레벨 보상되고, 노이즈가 감소되고, 및 증폭된 후에, 픽셀 셀들 (10) 로 부터의 아날로그 신호들은 아날로그 디지털 컨버터 (ADC) (74) 을 통해서 디지털 값들로 양자화된다. 그 후 그 디지털 값들은 그때 프로세서 (76) 의 입력이 된다. 프로세서 (76) 은 픽셀 셀 각각을 위해, 위의 특정 인용 식들 (1)-(3) 와 함께 본 발명에 설명된 기술에 따라, 짧은 노출 시간 샘플 S_SHORT 그리고 긴 노출 시간 샘플 S_LONG을 결합할 수도 있다.

몇몇 실시예들에서, 프로세서 (76) 은 본 발명에 기술된 기능들을 수행하기 위하여 명령들을 수행할 수도 있다. 그 명령들은 메모리 (78) 에 저장될 수도 있다. 프로세서 (76) 은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), ASICs (application specific integrated circuits), FPGAs (field programmable gate arrays), 혹은 이산 로직과 같은, 본 발명에서 설명한 기능들의 실행을 용이하게 하는 프로세싱 컴퓨터 코드에 적합한, 다른 프로세서 장치를 포함할 수도 있다. 메모리 (78) 에 저장되어 있는 실행가능한 명령들은 랜덤 액세스 메모리 (RAM), 싱크로너스 다이나믹 랜덤 액세스 메모리 (SDRAM), 읽기 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적 소거가능하며 프로그램 가능한 읽기 전용 메모리 (EEPROM), 플래쉬 메모리, 자기적 혹은 광학적 데이터 저장 장치, 등의 컴퓨터 판독가능한 매체에 부호화된, 컴퓨터 판독 가능한 명령들을 포함할 수도 있다.

상기의 실시예에서 계속하여, 프로세서 (76) 은 행 M과 열 N에 있는 픽셀 셀 (10) 의 디지털화된 픽셀 셀 값들을 수신한다. 구체적으로, 프로세서 (76) 은 픽셀 셀 (m,n) 으로부터 긴 노출 시간 샘플 S_LONG(m,n) 의 디지털 값과 짧은 노출 시간 샘플 S_SHORT(m,n) 의 디지털 값을 수신한다. 본 발명의 기술들에 따라서, 프로세서 (76) 은 픽셀 셀 (m,n)으로부터 긴 노출 시간 샘플 S_LONG(m,n) 과, 짧은 노출 시간 샘플 S_SHORT(m,n)에 대한 디지털 값을 결합할 수도 있다.

프로세서 (76) 은 긴 노출 시간 샘플에 대한 가변 가중 팩터 M(m,n) 을 계산, 획득, 기타 습득할 수도 있으며 여기서 M(m,n)은 S_LONG(m,n)에서 C( ) 또는 C(S_LONG(m,n)) 를 평가하여 결정된다. 일 실시예에서, 결합 곡선 C( ) 은 하나 이상의 식들에 의해서 정의될 수도 있다. 예를 들어, 결합 곡선 C( )을 정의하는 각각의 함수는 원하는 다이나믹 레인지 (예를 들어 f-스톱 값) 에 의존할 수도 있다. 예를 들어, 사용자는 원하는 다이나믹 레인지를 달성하기 위하여 어떤 f-스톱값을 선택했을 수도 있으며 이어서 이 다이나믹 레인지는 메모리 (78) 로부터 검색될 수도 있는 특정 결합곡선 C( )에 대응한다.

수신된 긴 노출 시간 샘플 S_LONG(m,n)의 디지털 값을 사용하여, 프로세서 (76) 는 예를 들어, 메모리 (78) 로부터 검색된 결합 곡선 C( ) 를 정의하는 특정 식을 평가하는 것에 의해, S_LONG(m,n) 의 값에서 원하는 다이나믹 레인지에 대해, 가변 가중 팩터 M(m,n)의 값을 결정할 수도 있다. 예를 들어, 픽셀 셀 (10) 이 긴 노출 시간 샘플 S_LONG(m,n)에서 포화되었다고 가정하자. 실시예에서 bit 수에 상관 없이, 도 2 에서 도시된 결합곡선이 프로세서 (76) 에 의해 사용되었다면, 결과적인 가변 가중 팩터 M(m,n) 는 0 이다.

프로세서 (76) 는, 가변 가중 팩터 M(m,n) 을 결정한 후, 본 발명에 설명된 기술에 따라, 위의 식 (2)-(3) 에 따라 가변 가중 팩터를 적용한 후에, 짧은 노출 시간 샘플 S_SHORT(m, n) 과 긴 노출 시간 샘플 S_LONG(m, n) 을 결합한다. 예를 들어, 노출들이 순차적이기보다는 연속적이라 가정하면, 식 (3) 이 사용될 수도 있다: S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1- M(i, j)). 다시 기술하자면, 픽셀 셀 (10) 이 긴 노출 시간 샘플 S_LONG(m, n)에서 포화되었기 때문에, 결합곡선 C( )에서 산출한 것에 의하거나, 긴 노출 시간 샘플 S_LONG(m, n)에서 결합곡선 C( )을 정의하는 식에 의해서 결정되는, 가변 가중 팩터 M(m, n)은 0 이다. 그러므로, S_COMBINED(m, n) = S_LONG(m, n)*0 + n*S_SHORT(m, n)*(1) = n*S_SHORT(m, n) 이다. 즉, 픽셀 셀이 포화되면, 결합된 값 S_COMBINED(m, n)는 단순하게, 두 노출 시간들의 비율 (T_LONG/ T_SHORT) 에 의해서 조정되는, 짧은 노출 시간 샘플 S_SHORT(m, n) 의 값이 된다.

다른 실시예에서, 상기 픽셀 셀 (10) 이 긴 노출 시간 샘플 S_LONG(m, n)이 포화되지는 않았지만 대신에 긴 노출 시간 샘플 S_LONG(m, n)이 10 의 값을 가졌다고 가정하자. 프로세서 (76) 에 의해 사용되는 도 2 에서 도시된 결합곡선이 사용되었다면, S_LONG(m, n)가 10 의 값을 가진 것은 결합곡선 C( )의 구획 (42) 에 해당한다는 사실에서 의해서 보듯이, 결과적인 가변 가중 팩터 M(m, n)은 1 이다.

프로세서 (76) 은, 가변 가중 팩터 M(m, n)을 결정한 후, 가변 가중 팩터 M(m, n)을 적용한 뒤, 짧은 노출 시간 샘플 S_SHORT(m, n)와 긴 노출 시간 샘플 S_LONG(m, n)을 결합한다. 다시 노출들이 순차적이기보다는 연속적이라 가정하면, 식 (3) 이 사용될 수도 있다: S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1 - M(i, j)). 결합곡선 C( )에서 산출한 것에 의하거나, 긴 노출 시간 샘플 S_LONG(m, n)에서 결합곡선 C( )을 정의하는 식에 의해서 결정되는, 가변 가중 팩터 M(m, n)은 "1"이다. 따라서 S_COMBINED(m, n) = S_LONG(m, n)*1 + n*S_SHORT(i, j)*0 이다. 즉, 결합된 값 S_COMBINED(m, n)는, 짧은 노출 시간 샘플 S_SHORT(m, n)보다 노이즈가 적을 것 같은 긴 노출 시간 샘플 S_LONG(m, n)의 값이다.

다른 실시예에서, 상기 픽셀 셀 (10) 이 긴 노출 시간 샘플 S_LONG(m, n)이 포화되지는 않았지만 대신에 긴 노출 시간 샘플 S_LONG(m, n)이 8-bit 구현에서 220 의 루마 값을 가졌다고 가정하자. 프로세서 (76) 에 의해 사용되는 도 2 에서 도시된 결합곡선이 사용되었다면, S_LONG(m, n)에 대한 220 의 루마 값이, 결합 곡선 C( )의 구획 (44) 에 있는 0.5 의 가변 가중 팩터 M(m, n) 값과 교차하는 사실에서 보듯이, 결과적인 가변 가중 팩터 M(m, n)은 0.5 이다.

프로세서 (76) 은, 가변 가중 팩터 M(m, n) 의 결정 시, 가변 가중 팩터 M(m, n)을 적용한 후, 짧은 노출 시간 샘플 S_SHORT(m, n)와 긴 노출 시간 샘플 S_LONG(m, n)을 결합한다. 다시 노출들이 순차적이기보다는 연속적이라 가정하면, 식 (3) 이 사용될 수도 있다: S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1- M(i, j)). 결합곡선 C( ) 에서 산출한 것에 의하거나, 긴 노출 시간 샘플 S_LONG(m, n)에서 결합곡선 C( ) 을 정의하는 식에 의해서 결정되는 바와 같이, 가변 가중 팩터 M(m, n)은 0.5 일 수도 있다. 따라서 S_COMBINED(m, n) = S_LONG(m, n)*0.5 + n*S_SHORT(i, j)*0.5 이다. 즉, 결합된 값 S_COMBINED(m, n) 을 계산하기 위하여 긴 노출 시간 샘플과 짧은 노출 시간 샘플의 부분 모두가 사용되었기 때문에, 상기 결합된 값 S_COMBINED(m, n)은 두 샘플들의 진정한 결합이다.

다른 예시적 실시들에서, 결합 곡선 C( ) 각각은 하나 이상의 룩업 테이블들의 형태로 메모리, 예를 들어 메모리 (78) 에 저장될 수도 있다. 이러한 실시예에서, 프로세서 (76) 은 메모리 (78) 에 저장되어 있는 특정 결합 곡선 C( ) 에 해당하는 특정 룩업 테이블에 액세스할 수도 있고, 주어진 값 S_LONG(m, n)에 대해 가변 가중 팩터 M(m, n)의 값을 검색할 수도 있다.

도 4 는 본 발명의 기술들을 실시하기 위해 사용될 수도 있는 다른 이미지 센서의 블록도이다. 도 4 에 도시되어 있는 예시적 이미지 센서 (100) 의 몇몇 측면들은, 도 3 에 도시되어 있는 이미지 센서와 비슷하고, 그 상세를 다시 설명하지는 않을 것이다. 도 3 과는 다르게 도 4 는 두 개의 ADC들 (74A, 74B) 를 나타낸다. 비슷하게, 도 3 의 ADC (74) 는 도 4 에서 74A 와 74B 로 나타내어 진다. ADC (74A) 는 짧은 노출 시간 샘플 S_SHORT(i, j)를 변환하기 위한 전용 ADC이며, ADC (74B) 는 긴 노출 시간 샘플 S_LONG(i, j)의 변환을 위한 전용 ADC이다. ADC (74A) 와 ADC (74B) 각각에 의하여, 짧은 노출 시간 샘플 S_SHORT(i, j)와 긴 노출 시간 샘플 S_LONG(i, j)의 변환에 후속하여, ADC (74A) 와 ADC (74B) 의 출력들이 프로세서 (76) 에 입력된다. 변환된 샘플들을 수신 시 프로세서 (76) 는, 특정 인용 식들 (1)-(3) 과 함께, 위에서 설명한 기술들에 따라 샘플들을 결합한다.

위에서 상세를 설명한 것과 같이 두 샘플들, 즉 짧은 노출 시간 샘플 S_SHORT(i, j)와 긴 노출 시간 샘플 S_LONG(i, j) 은, 각각의 픽셀 셀에 대해 판독되기 때문에 도 4 에 도시된 두 ADC들을 사용하는 예시적 이미지 센서 구성은 본 발명의 기술들을 실시하는데 유용할 수도 있다. 하나는 짧은 노출 시간 샘플들을 위한 것이고 다른 하나는 긴 노출 시간 샘플들을 위한, 병렬 ADC들을 갖는 이미지 센서 구성은, 픽셀 셀 각각에 대한 짧은 노출 시간 샘플과 긴 노출 시간 샘플이 실질적으로 동시에 변환되는 것을 허용함으로써, 스루풋을 증진시킬 수도 있다. 도 3 에 도시된 이미지 센서의 구성과 비교하여 도 4 의 상기 예시적인 이미지 센서 구성은 추가적인 회로가 요구될 수도 있지만, CMOS 후방 조사 (backside illumination) 구성들과 같은 몇몇 실시들에서는, 그러한 추가적인 회로가 픽셀 셀의 광 캡쳐 표면적과의 간섭없이 픽셀 셀 뒷면에 추가될 수도 있다. 즉, 추가적인 회로는 픽셀 셀의 필 팩터 (fill factor), 즉 픽셀 셀의 면적에 대한 감광성 반도체의 면적를 감소시키지 않는다.

도 5 는 본 발명의 기술들을 실시하기 위해 사용될 수도 있는 다른 이미지 센서의 블록도이다. 도 5 에 그려져 있는 예시적 이미지 센서 (120) 의 몇몇 측면들은, 도 3 에 그려져 있는 이미지 센서와 비슷하고, 그 상세를 다시 설명하지는 않을 것이다. 하나는 짧은 노출 시간 샘플 S_SHORT(i, j)를 변환하고 다른 하나는 긴 노출 시간 샘플 S_LONG(i, j)을 변환하는 두 개의 ADC가 프로세서 (76) 의 처리량을 개선시킬 수도 있기 위해 병렬되어 사용된다는 점에서, 도 5 에 있는 이미지 센서는 도 4 에 있는 이미지 센서와 비슷한 면이 있다. 병렬적인 ADC들 (74A) 와 (74B) 에 더하여, 도 5 에서 도시된 예시적인 구성은, 몇몇 실시예에서 프로세서 (76) 으로 신호 처리량을 더 증진할 수도 있도록, 병렬적인 샘플 앤 홀드 회로 (70A 와 70B) 와 병렬적인 블랙레벨 보상, 노이즈 축소, 그리고 증폭회로 (72A 와 72B) 를 더 포함한다. 도 5 에서 도시된 구성은, 대개 (82) 에 표시된 회로를 통해 처리하기 위한 짧은 노출 시간 샘플 S_SHORT(i, j)을 가리키고, 대개 (84) 에 표시된 회로를 통해 처리하기 위한 긴 노출 시간 샘플 S_LONG(i, j)을 가리키기 위한, 스위치 (80) 를 포함한다. ADC (74A) 와 ADC (74B) 각각에 의하여, 짧은 노출 시간 샘플 S_SHORT(i, j)와 긴 노출 시간 샘플 S_LONG(i, j)의 변환에 따르는, ADC (74A) 와 ADC (74B) 의 출력들은 프로세서 (76) 로 들어가는 입력이다. 변환된 샘플들을 수신한 후에 프로세서 (76) 은, 특정 인용 식들 (1)-(3) 과 함께, 위에서 설명한 기술들에 따라 샘플들을 결합한다.

단순화를 위하여 본 발명의 기술들은, 짧은 노출 시간 샘플 S_SHORT(i, j)과 긴 노출 시간 샘플 S_LONG(i, j)이라는, 오직 두 샘플들만 결합하는 것과 관련하여 위에서 설명되었다는 점에 주지해야 한다. 하지만 본 발명의 기술들은 이에 제한되지 않는다. 오히려, 본 발명에서 설명된 결합 설계는 두 가지 이상의 샘플들의 (예를 들어 다른 노출 시간들로부터의 다섯 개 샘플들) 결합을 위해 사용될 수도 있다. 예를 들어, 태양과 같은 아주 밝은 물체를 사진 찍기 위하여, 넓은 다이나믹 레인지가 요청된다. 이와 같은 때, 그와 같은 다이나믹 레인지를 성취하기 위하여 두 개 이상의 이미지들이 필요할 수도 있다. 끝으로, 다수의 샘플들이 수집되고, 위에서 설명된 가변 가중 기술들을 이용하여 결합될 수도 있다.

본 발명에 설명된 결합 설계는 HDR 이미지를 생성하기 위한 다양한 이미징 기술들을 이용하여 실시될 수도 있다. 하나의 예시적 기술은, 도 3 의 픽셀 셀 어레이 (52) 와 같은 픽셀 셀 어레이의 짝수 라인들 (even-numbered lines) 이 제 1 노출 시간 동안에 노출될 수도 있고 (예를 들어, 시간=t/2), 픽셀 셀 어레이의 홀수 라인들 (odd-numbered lines) 이 제 1 노출 시간과는 다른 제 2 노출 시간 (예를 들어, 시간=2t) 동안에 노출될 수도 있다. 이 두 가지 서로 다른 노출 시간들은 동일한 시간에 끝나도록 (예를 들어, 실질적으로 동일하게) 정렬될 수도 있다. 그 이후에, 두 노출들은 두 가지 수직으로 다운샘플된 (downsampled) 이미지들이며, 하나의 이미지를 생성하기 위하여 결합될 수도 있다.

위의 실시예에서 계속하여, 픽셀 셀 어레이의 홀수와 짝수 라인들은 독립적으로 관리되는 식으로 배열되거나 구성될 수도 있다. 이미지는 두 노출 시간들에 대한 픽셀 셀 위의 각각의 공간적 위치를 위한 값을 생성하기 위하여 다운샘플이나 업샘플 (upsampled) 될 수도 있다. 예를 들어, 제 1 노출 시간 동안 오직 짝수 라인들만 노출되었고, 그러므로 오직 제 1 노출 시간 샘플들은 짝수 라인들을 위한 것만 수집되었음에도 불구하고, 제 1 노출 시간 샘플들은 짝수 라인들을 위해 수집된 샘플들을 다운샘플링이나 업샘플링하는 것에 의해 홀수 라인들에 있는 감광성 반도체 각각을 생성할 수도 있다. 비슷하게, 제 2 노출 시간 동안 오직 홀수 라인들만 노출되었고, 그러므로 오직 제 2 노출 시간 샘플들은 홀수 라인들을 위한 것만 수집되었음에도 불구하고, 제 2 노출 시간 샘플들은 홀수 라인들을 위해 수집된 샘플들을 다운샘플링하거나 업샘플링하는 것에 의해 짝수 라인들에 있는 감광성 반도체 각각을 생성할 수도 있다. 그러므로, 복수의 홀수 라인들 각각에서 복수의 공간적 장소들의 각각에 대한 제 1 노출 시간 샘플은 제 1 노출 시간에 짝수 라인들로부터 수집한 샘플들을 다운샘플링하거나 업샘플링하는 것 중 하나에 의해 생성되며, 복수의 짝수 라인들 각각에서 복수의 공간적 장소들의 각각에 대한 제 2 노출 시간 샘플은 제 2 노출 시간에 홀수 라인들로부터 수집한 샘플들을 다운샘플링하거나 업샘플링하는 것 중 하나에 의해 생성된다. 본 발명을 통하여 설명된 기술들을 사용하여 짧은 노출 시간 샘플들과 긴 노출 시간 샘플들은 결합된다 (예를 들어 식들 (1)-(3) 을 사용함). 이러한 샘플들의 결합은 업샘플링하는 것에 의하여 전체 해상도 이미지나 반쪽 해상도 이미지 둘 중 하나를 생성할 수도 있다.

도 6 는 위에서 설명한 기술들을 이용하여 짝수 라인들과 홀수 라인들로부터 짧은 노출 시간 샘플과 긴 노출 시간 샘플의 결합을 설명한 개념도이다. 도 6 에서 150에 도시된 이미지는 짝수와 홀수 라인 그리고 짧은 노출 시간과 긴 노출 시간 제어와 함께 있는 센서 프레임 평면을 설명한다. 긴 노출 시간 (예를 들어, 제 2 노출 시간) 샘플들은 홀수 라인들에 대해 수집되며, 이는 (152) 에 그려져 있다. 긴 노출 시간은 (153) 에 있는 픽셀 셀을 포화되도록 했다. 짧은 노출 시간 (예를 들어, 제 1 노출 시간) 샘플들은 짝수 라인들에 대해 수집되며, 이는 (154) 에 그려져 있다. 다음으로 홀수 라인들과 짝수 라인들을 위해 수집된 샘플들은 업샘플 시킨다. (157) 에 있는 픽셀 셀들은 포화된 채로 있음에도 불구하고, 홀수 라인들로부터 얻은 긴 노출 시간 샘플들은 (156) 에서 도시된 것처럼 원하는 프래임 크기로 업샘플 된다. 짝수 라인들로부터 얻은 짧은 노출 시간 샘플들은 (158) 에서 도시된 것처럼 원하는 프래임 크기로 업샘플 된다. 결과적으로, 본 발명을 통해서 설명된 결합 기술들을 이용하여 제 2 노출 시간 이미지 (156) 과 제 1 노출 시간 이미지는, (160) 에서 도시된 것처럼 전체 해상도 이미지를 생성하기 위해 결합된다. 결합된 이미지 (160) 에서 (161) 에 있는 픽셀 셀들은 더 이상 포화되어 있지 않다.

두 이미지들은 외부 프로세서를 거쳐 센서 안에서 (on-sensor) 혹은 센서 밖에서 (off-sensor) 결합될 수도 있다. 일반적으로, 센서 안에서와 센서 밖에서 결합하는 것 사이의 주요한 차이점은, 필요한 추가적 메모리의 총량이다. 센서 안에서 결합하는 것은 샘플들을 더 빠르게 판독되는 것이 허용될 수도 있으며, 그것에 의해서 대기시간을 줄인다. 게다가 센서 안에서 결합하는 것은 데이터 전송들을 줄이는 것 (예를 들어, 대역폭을 줄임) 을 허용할 수도 있다. 예를 들어, 결합이 센서 안에서 수행되지 않는다면, 짧은 노출 시간 프레임과 긴 노출 시간 프레임과 같은, 두 프레임들은 센서들로부터 판독될는 것이 필요할 수도 있다. 비디오 실시예들에서 같은 프레임 레이트 (frame rate) 를 유지하기 위하여, 데이터 속도는 두 프레임들의 판독하는 속도를 맞추기 위해서 두 배가 되어야만 한다. 하지만, 결합이 센서 안에서 수행된다면, 긴 노출 시간 프레임과 짧은 노출 시간 프레임은 하나의 프레임 지속시간 안에 결합되고 판독된다.

예를 들어, 픽셀 셀 어레이의 짝수 라인들은 제 1 노출 시간에 노출되고, 픽셀 셀 어레이의 홀수 라인들은 제 1 노출 시간과 다른 제 2 노출 시간에 노출될 수도 있는 위에서 설명한 실시에서, 긴 노출 시간 샘플과 짧은 노출 시간 샘플의 결합은 센서 안에서 수행될 수도 있다. 샘플들을 센서 안에서 결합하기 위하여, 라인 버퍼 (line buffer) 와 같은 추가적 메모리가 필요할 수도 있다. 이러한 실시에서, 전체 짝수 라인은 짧은 노출 시간에 판독될ㄴ 수도 있고, A/D 컨버터에 거쳐 변환될 수도 있고, 메모리에 저장될 수도 있다. 그 후에, 전체 홀수 라인은 긴 노출 시간에 판독될 수도 있고, A/D 컨버터에 의해 변환될 수도 있다. 프로세서는 짝수 라인을 위한 메모리로부터 값을 회수할 수도 있고, 본 발명에서 설명된 결합 기술들을 사용하여 변환된 홀수 라인 값들과 결합할 수도 있으며, 그 후 하나의 결합된 이미지를 출력할 수도 있다. 다시 말하자면, 센서 안에서 이뤄지는 설계와 같은 것을 이용하면, 추가적인 메모리 요구들에 의한 비용 하에서, 이미징 처리 파이프라인 (imaging processing pipeline) 를 위해 필요한 대역폭을 줄일 수도 있다.

도 1 에서 도시된 실시는, 센서 안에서 결합되는 것을 고려하여, 위에서 설명되었다. 하지만, 도 1 의 픽셀 셀 (10) 은, 센서 밖에서 결합하는 설계를 이용하는, CMOS 센서와 같은 센서 역시 사용될 수도 있다. 센서 밖에서 결합하는 설계에서, 센서는 전에 설명한 방식에서 리셋 되어야할 수도 있고, 그 후 센서는 포톤들을 즉시 얻기 시작할 수도 있다. 짧은 노출 시간에서 (예를 들어 t = t/2), 전하는 캐패시터 (20) 로 전달될 수도 있다. 몇몇 실시예들에서, 위에서 설명한 것과 같은, 상관 이중 샘플링이 이용될 수도 있다. 그 후 샘플들은 롤링 셔터 기술 (rolling shutter technique) 을 이용하여 읽힐 수도 있다. 긴 노출 시간에서 (예를 들어 t = 2t), 전하는 캐패시터 (20) 로 전달될 수도 있다 ( t= t/2로부터의 이전 값은 이미 판독됨). 짧은 노출 시간으로부터의 모든 값들이 판독된 후에, 상관 이중 샘플링이 다시 수행된다. 그 후에, 긴 노출 시간으로부터의 값들은 판독된다. 짧은 노출 시간 (t=0에서 t=t/2까지) 으로부터의 이미지들은 긴 노출 시간 (t= 0에서 t=2t까지) 로부터의 이미지들과 센서 밖에서, 본 발명의 기술들을 이용하여 그 후에 결합될 수도 있다.

위에서 언급된 것과 같이, 본 발명에서 설명하는 신호 결합 기술은 CMOS 센서들과는 다른, CCD (charge-coupled device) 이미지 센서들과 같은 이미지 센서들에도 적용가능하다. CCD 이미지 센서는 HDR 이미지를 생성하기 위하여 다른 예시적 이미징 기술을 사용할 수도 있다. 일 실시예에서, CCD 센서에 기계적 셔터가 추가될 수도 있다. t=0과 같은 첫 시간에, 기계적 셔터는 열렸을 수도 있고, 센서는 즉시 포톤들을 즉시 얻기 시작할 수도 있다. t=t/2와 같은 제 1 시간에 시간적으로 후속하는, 제 2 시간에 전하 혹은 제 1 샘플은 일시적 저장 영역 (예를 들어, 픽셀 셀의 복사본이 저장될 수도 있는 보호된 공간) 으로 전달된다. 시간 t=t/2로 부터 이미지를 판독하는 것은 인테그레이션이 (즉, 광에 노출) 계속되는 동안 시작될 수도 있다. t=2t와 같은 세 번째 시간에 기계적 셔터는 닫힌다. 시간 t=t/2로 부터의 이미지가 일시적 저장 영역으로 부터 완전히 판독된 때, 시간 t=2t로부터 픽셀 셀에 저장된 전하 혹은 제 2 샘플은 일시적인 저장 영역으로 전달될 수도 있고 그리고 판독될 수도 있다. 시간 t=2t 로부터의 제 2 샘플을 읽은 후에, 프로세서 (76) 는 제 2 샘플에 가중 팩터 M(i, j)를 적용할 수도 있다. 그 후 프로세서 (76) 은 HDR 이미지를 생성하기 위하여 t=t/2로부터의 제 1 샘플과 가중된 제 2 샘플을 결합할 수도 있다.

도 7 은 본 발명의 기술들을 실시하는데 사용될 수도 있는 예시적 방법을 설명한 흐름도이다. 예를 들어, 도 3 의 컨트롤러 (54) 는 S_SHORT(i, j) 와 같은 제 1 샘플을 생성하기 위하여, 짧은 노출 시간과 같은 제 1 시간에, 제 1 픽셀 셀 신호를 샘플링한다 (200). 컨트롤러 (54) 는 S_LONG(i, j) 와 같은 제 2 샘플을 생성하기 위하여, 긴 노출 시간과 같은 제 2 시간에, 제 2 픽셀 셀 신호를 역시 샘플링한다 (200). 몇몇 실시예들에서,제 2 시간은 제 1 시간에 시간적으로 후속한다. 다른 실시예에서, 제 1 픽셀 셀 신호와 제 2 픽셀 셀 신호는 CMOS 이미지 센서 그리고 CCD 이미지 센서 중 하나에 의해서 생성된다.

예를 들어, 도 3 의 프로세서 (76) 는 M(i,j)와 같은 가변 가중 팩터를 제 2 샘플에 적용할 수도 있으며, 그 가변 가중 팩터는 제 2 샘플 (예를 들어 S_LONG(i, j)) 에서의 함수 (예를 들어, 결합 곡선 C( )) 에 의해서 정의된다 (210). 하나의 예시에서, M(i, j)의 값은 0 내지 1 의 값이다. 하나의 예시에서, 가변 가중 팩터 M(i, j)=C(L)이고, 다음과 같이 정의되며:

L,T,K 그리고 Δ는 식 (4) 에 대응해 위에서 설명되었다.

예를 들어, 프로세서 (76) 은 그 이후 HDR 이미지를 생성하기 위하여 제 1 샘플과 가중된 제 2 샘플을 결합한다 (220). 하나의 예시에서, 제 1 샘플과 가중된 제 2 샘플을 결합하는 것은 이미지 센서 (예를 들어 이미지 센서 (50)) 안에서 제 1 샘플과 가중된 제 2 샘플을 결합하는 것을 포함한다.

몇몇 실시예들에서, 도 7 에서 도시된 방법은 식 S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1- M(i, j))에 따라 제 1 샘플과 가중된 제 2 샘플을 결합하는 것을 포함하며, 여기서 S_COMBINED는 (i,j)에 위치한 픽셀 셀에서, S_SHORT라고 표시된 제 1 샘플과 S_LONG라고 표시된 제 2 샘플의 결합을 표시하고, n은 제 1 시간과 제 2 시간 사이의 노출 시간의 차이에 의존하는 스칼라 값을 표시하고, M(i,j)는 상기 가변 가중 팩터를 표시한다.

도 8 은, 본 발명의 기술들을 실시하는데 사용할 수도 잇는 다른 예시적 방법을 설명한 흐름도이다. 예를 들어, 도 8 의 방법은 CCD 이미지 센서와 함께 사용할 수도 있다. 도 8에서 컨트롤러는 CCD 이미지 센서의 기계적 셔터를 열고, 이미지 센서를 광에 노출한다 (300). 상기 컨트롤러는 제 1 시간에 광에 기초하여 현상된 제 1 샘플을 저장 영역에 전달시키고 (310), 그 후 저장 영역으로부터 제 1 샘플을 판독한다 (320). 제 2 시간은 제 1 시간에 즉시 이어지며, 그 상기 컨트롤러는 기계적 셔터를 닫고 (330), 제 2 샘플을 저장 영역으로 전달시킬 수도 있다 (340). 그 후 상기 컨트롤러는 저장 영역으로부터 제 2 샘플을 판독할 수도 있다. 프로세서는 가변 가중 팩터 (예를 들어 M(i, j)) 를 제 2 샘플에 적용한다 (360). 그 후 상기 프로세서는 (예를 들어 HDR 이미지를 생성하기 위해 프로세서 (76) 에 의해) 제 1 샘플과 가중된 제 2 샘플을 결합한다 (370).

도 9 는, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 다른 예시적 방법을 설명한 흐름도이다. 예를 들어, 도 9 의 방법은 CMOS 이미지 센서와 함께 사용될 수도 있다. 도 9 에서, 도 3 의 컨트롤러 (54) 는 제 1 노출 시간이 제 2 노출 시간과 실질적으로 동시에 끝나도록, 제 1 노출 시간과 제 2 노출 시간을 정렬한다 (400). 상기 컨트롤러 (54) 가 제 1 시간에 CMOS 이미지 센서의 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각을 위한 제 1 샘플을 생성하도록 CMOS 이미지 센서의 복수의 짝수 라인들을 노출할 수도 있고, 제 2 시간에 CMOS 이미지 센서의 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각을 위한 제 2 샘플을 생성하도록 CMOS 이미지 센서의 복수의 홀수 라인들을 노출할 수도 있다 (410). 예를 들어, 프로세서 (76) 은 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각을 위한 제 1 샘플을 다운샘플링하거나 업샘플링하는 것 중 하나에 의하여, 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각을 위한 제 1 샘플을 만든다 (420). 예를 들어, 프로세서 (76) 은 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각을 위한 제 2 샘플을 다운샘플링하거나 업샘플링하는 것 중 하나에 의하여, 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각을 위한 제 2 샘플을 만든다 (430). 프로세서 (76) 은 가변 가중 팩터 (예를 들어 M(i, j)) 를 제 2 샘플에 적용한다 (440). 그 후 프로세서 (76) 은 HDR 이미지를 생성하기 위해 제 1 샘플과 가중된 제 2 샘플을 결합한다 (450).

도 10 은, 본 발명의 기술을 실시하기 위하여 사용될 수도 있는 다른 예시적 방법을 설명한 흐름도이다. 도 10 의 방법은 CMOS 이미지 센서와 함께 사용될 수도 있다. 예를 들어, 도 10 에서 도 3 의 컨트롤러 (54) 는 감광성 반도체 (예를 들어 감광성 반도체 (12)) 를 리셋할 수도 있고, 감광성 반도체를 광에 노출할 수도 있다 (500). 제 1 시간에, 컨트롤러 (54) 는 광에 기초하여 현상된 제 1 샘플을 캐패시터 (예를 들어, 도 1의 캐패시터 (20)) 로 전달할 수도 있다 (510). 제 2 시간에, 컨트롤러 (54) 는 감광성 반도체로부터 광에 기초하여 현상된 제 2 샘플을 판독할 수도 있다 (520). 컨트롤러 (54) 는 제 2 샘플이 판독된 후에 제 1 샘플을 판독할 수도 있다 (530). 예를 들어, 프로세서 (76) 은 가변 가중 팩터 (예를 들어 M(i, j)) 를 제 2 샘플에 적용한다 (540). 그 후 프로세서 (76) 은 HDR 이미지를 생성하기 위해 제 1 샘플과 가중된 제 2 샘플을 결합한다 (550).

본 발명에서 설명하는 기술들은 하드웨어, 소프트웨어, 펌웨어, 혹은 그것들에 의한 결합 중 적어도 하나로 실시될 수도 있다. 예를 들어, 설명된 기술들의 다양한 측면들은, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 네트워크 프로세서들 (NPs), ASICs (application specific integrated circuits), FPGAs (field programmable gate arrays), 또는 다른 집적 (integrated) 또는 이산 로직 회로와 동등한 것이나, 이러한 컴포넌트들의 어떤 결합에 의한 것도 역시 포함하는, 하나 이상의 프로세서들에 의해서 실시될 수도 있다. "프로세서" 혹은 "처리 회로"라는 단어는, 앞서 말한 어떤 형태의 논리 회로를 의미하며, 논리 회로 단독이거나, 다른 논리 회로와 함께 결합되거나, 혹은 그 밖에 다른 동등한 회로와 결합된 것을 의미한다. 컨트롤 유닛은 본 발명의 하나 이상의 기술들을 역시 수행할 수도 있는 하드웨어를 포함한다.

하드웨어, 소프트웨어, 펌웨어와 같은 것은 본 발명에서 설명된 다양한 작용들이나 기능들을 지원하기 위하여, 같은 장치 혹은 분리된 장치들에서 실시될 수도 있다. 게다가 설명된 어떤 유닛들, 모듈들, 혹은 컴포넌트들은, 분산되었지만 공동으로 이용할 수 있는 논리 장치들로써, 함께 혹은 나누어서 실시될 수도 있다. 모듈들이나 유닛들로서 다른 기능들의 묘사는, 다른 기능적인 측면들을 강조하기 위함이고, 그러한 모듈들이나 유닛들이 분리된 컴퓨팅 하드웨어나 소프트웨어 컴포넌트들에 의해 나타나야만 하는 것을 필연적으로 의도하는 것은 아니다. 오히려 하나 이상의 모듈들이나 유닛들과 관련된 기능성은, 분리된 하드웨어나 소프트웨어 컴포넌트들에 의해 수행되거나, 공동의 혹은 분리된 하드웨어나 소프트웨어 컴포넌트들 안에서 융합되어 질 수도 있다.

본 발명에서 설명된 기술들은, 명령들 포함된, 컴퓨터에서 읽기 가능한 저장 매체와 같은 컴퓨터에서 읽기 가능한 매체에 역시 구현되거나 암호화될 수도 있다. 컴퓨터에서 읽기 가능한 매체에 구현되거나 암호화된 명령들은 프로그램 가능한 프로세서나 다른 프로세서에서 방법들의 수행을 일으킨다 (예를 들어 명령들이 수행되었을때). 컴퓨터 읽기 가능한 저장 매체는 랜덤 액세스 메모리 (RAM), 읽기 전용 메모리 (ROM), 프로그램 가능한 읽기 전용 메모리 (PROM), 삭제 가능한 프로그램 가능한 읽기 전용 메모리 (EPROM), 전기적 소거가능하며 프로그램 가능한 읽기 전용 메모리 (EEPROM), 플래쉬 메모리, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기적 매체, 광학적 매체, 혹은 다른 컴퓨터 판독 가능한 미디어를 포함할 수도 있다.

본 발명의 다양한 실시예들은 설명되었다. 이러한 실시예들과 다른 실시예들은 다음 청구항들의 범위 안에 있다.

Claims

제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 단계;
제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 단계;
가변 가중 팩터 (variable weighting factor) 를 상기 제 2 샘플에 적용하는 단계로서, 상기 가변 가중 팩터는 함수에 기초하여 정의되는, 상기 제 2 샘플에 적용하는 단계; 및
상기 제 1 샘플과 가중된 상기 제 2 샘플을 결합하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합하는 단계는, 식:
S_COMBINED(i, j)=S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1-M(i, j))
에 따라 상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합하는 단계를 포함하고,
S_COMBINED 는 (i,j) 에 위치한 픽셀 셀에 대해, S_SHORT로 표시된 상기 제 1 샘플과 S_LONG로 표시된 상기 제 2 샘플의 결합을 표시하고, n은 상기 제 1 시간과 상기 제 2 시간 사이의 노출 시간의 차이에 의존하는 스칼라 값을 표시하고, M(i,j)는 상기 가변 가중 팩터를 표시하는, 방법.
제 2 항에 있어서,
상기 M(i, j)의 값은 0 내지 1 인, 방법.
제 1 항에 있어서,
상기 제 2 시간은 상기 제 1 시간에 시간적으로 후속하는, 방법.
제 1 항에 있어서,
상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합하는 단계는, 센서에서 상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 제 1 픽셀 셀 신호와 상기 제 2 픽셀 셀 신호는, CMOS (complimentart MOS) 이미지 센서 및 CCD (charge-coupled device) 이미지 센서 중 하나에 의하여 생성되는, 방법.
제 6 항에 있어서,
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 단계 및 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 단계는,
CCD 이미지 센서의 기계적인 셔터를 열고, 상기 CCD 이미지 센서를 광에 노출시키는 단계;
상기 광에 기초하여 현상된 상기 제 1 샘플을 제 1 시간에 저장 영역에 전달시키는 단계;
상기 저장 영역으로부터 상기 제 1 샘플을 판독하는 단계;
상기 제 1 시간에 시간적으로 후속하는 제 2 시간에 상기 기계적인 셔터를 닫는 단계;
제 2 샘플을 상기 저장 영역에 전달시키는 단계; 및
상기 저장 영역으로부터 상기 제 2 샘플을 판독하는 단계를 포함하는, 방법.
제 6 항에 있어서,
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 단계 및 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 단계는,
상기 제 1 시간이 상기 제 2 시간과 실질적으로 동시에 끝나도록, 상기 제 1 시간과 상기 제 2 시간을 정렬하는 단계;
상기 CMOS 이미지 센서의 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 생성하도록 상기 제 1 시간에 상기 CMOS 이미지 센서의 상기 복수의 짝수 라인들을 노출시키고, 상기 CMOS 이미지 센서의 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 생성하도록 상기 제 2 시간에 상기 CMOS 이미지 센서의 상기 복수의 홀수 라인들을 노출시키는 단계;
상기 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 다운샘플링 (Downsampling) 및 업샘플링하는 것 (Upsampling) 중 하나에 의하여, 상기 복수의 홀수 라인들 각각에서 상기 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 발생시키는 단계; 및
상기 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 다운샘플링 및 업샘플링하는 것 중 하나에 의하여, 상기 복수의 짝수 라인들 각각에서 상기 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 발생시키는 단계를 포함하는, 방법.
제 6 항에 있어서,
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 단계 및 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 단계는,
픽셀 셀을 리셋하고 상기 픽셀 셀을 광에 노출시키는 단계;
제 1 시간에, 광에 기초하여 현상된 (developed) 제 1 샘플을 캐패시터로 전달하는 단계;
제 2 시간에, 광에 기초하여 현상된 제 2 샘플을 판독하는 단계; 및
상기 제 2 샘플이 판독된 후에 제 1 샘플을 판독하는 단계를 포함하는, 방법.
시스템으로서,
복수의 픽셀 셀들과 컨트롤러를 포함하는 이미지 센서; 및
프로세서를 포함하고,
상기 컨트롤러는 상기 복수의 픽셀 셀들 중 적어도 하나로부터, 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고, 상기 복수의 픽셀 셀들 중 적어도 하나로부터, 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하며,
상기 프로세서는 가변 가중 팩터를 상기 제 2 샘플에 적용하는 것으로서, 상기 가변 가중 팩터는 함수에 기초하여 정의되는 상기 제 2 샘플에 적용하고, 상기 제 1 샘플과 가중된 상기 제 2 샘플을 결합하는, 시스템
제 10 항에 있어서,
상기 프로세서는 식:
S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1- M(i, j))
에 따라, 상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합하고,
S_COMBINED는 (i,j) 에 위치한 픽셀 셀에 대해, S_SHORT로 표시된 상기 제 1 샘플과 S_LONG로 표시된 상기 제 2 샘플의 결합을 표시하고, n 은 상기 제 1 시간과 상기 제 2 시간 사이의 노출 시간의 차이에 의존하는 스칼라 값을 표시하고, M(i, j)는 상기 가변 가중 팩터를 표시하는 것인, 시스템.
제 11 항에 있어서,
상기 M(i, j)의 값은 0 내지 1 인, 시스템.
제 10 항에 있어서,
상기 제 2 시간은 상기 제 1 시간에 시간적으로 후속하는, 시스템.
제 10 항에 있어서,
상기 프로세서가 상기 제 1 샘플과 상기 가중된 제 2 샘플을 센서에서 결합하는, 시스템.
제 10 항에 있어서,
상기 제 1 픽셀 셀 신호와 상기 제 2 픽셀 셀 신호는 CMOS 이미지 센서 및CCD 이미지 센서 중 하나에 의하여 생성되는, 시스템.
제 15 항에 있어서,
상기 컨트롤러는 적어도,
CCD 이미지 센서의 기계적인 셔터를 열고, 이미지 센서를 광에 노출하는 것;
상기 광에 기초하여 현상된 (developed) 상기 제 1 샘플을 제 1 시간에 저장 영역으로 전달하는 것;
상기 저장 영역으로부터 상기 제 1 샘플을 판독하는 것;
상기 제 1 시간에 시간적으로 후속하는 제 2 시간에 상기 기계적인 셔터를 닫는 것;
제 2 샘플을 상기 저장 영역에 전달시키는 것; 및
상기 저장 영역으로부터 상기 제 2 샘플을 판독하는 것에 의해,
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는, 시스템.
제 15 항에 있어서,
상기 컨트롤러는 적어도,
상기 제 1 시간이 상기 제 2 시간과 실질적으로 동시에 끝나도록, 상기 제 1 시간과 상기 제 2 시간을 정렬하는 것;
상기 제 1 시간에 상기 CMOS 이미지 센서의 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 생성하도록 상기 CMOS 이미지 센서의 상기 복수의 짝수 라인들을 노출시키고, 상기 제 2 시간에 상기 CMOS 이미지 센서의 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 생성하도록 상기 CMOS 이미지 센서의 상기 복수의 홀수 라인들을 노출시키는 것;
상기 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 다운샘플링 및 업샘플링하는 것 중 하나에 의해, 상기 복수의 홀수 라인들 각각에서 상기 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 발생시키는 것; 및
상기 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 다운샘플링 및 업샘플링하는 것 중 하나에 의해, 상기 복수의 짝수 라인들 각각에서 상기 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 발생시키는 것에 의해,
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는, 시스템.
제 15 항에 있어서
상기 컨트롤러는 적어도,
픽셀 셀을 리셋하고 상기 픽셀 셀을 광에 노출시키는 것;
제 1 시간에, 광에 기초하여 현상된 제 1 샘플을 캐패시터에 전달하는 것;
제 2 시간에, 광에 기초하여 현상된 제 2 샘플을 판독하는 것; 및
상기 제 2 샘플이 판독된 후에 상기 제 1 샘플을 판독하는 것에 의해,
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는, 시스템.
제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 수단;
제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 수단;
가변 가중 팩터를 상기 제 2 샘플에 적용하는 수단으로서, 상기 가변 가중 팩터는 함수에 기초하여 정의되는, 상기 제 2 샘플에 적용하는 수단; 및
상기 제 1 샘플과 가중된 상기 제 2 샘플을 결합하는 수단을 포함하는, 시스템.
제 19 항에 있어서,
상기 제 1 샘플과 상기 가중된 제 2 샘플의 결합하는 수단은, 식:
S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1- M(i, j))
에 따라, 상기 제 1 샘플과 상기 가중된 제 2 샘플의 결합하는 수단을 포함하며,
S_COMBINED는 (i,j)에 위치한 픽셀 셀에 대해, S_SHORT로 표시된 상기 제 1 샘플과 S_LONG로 표시된 상기 제 2 샘플의 결합을 표시하고, n은 상기 제 1 시간과 상기 제 2 시간 사이의 노출 시간의 차이에 의존하는 스칼라 값을 표시하고, M(i, j)는 상기 가변 가중 팩터를 표시하는, 시스템.
제 20 항에 있어서,
상기 M(i, j)의 값은 0 내지 1 인, 시스템.
제 19 항에 있어서,
상기 제 2 시간은 상기 제 1 시간에 시간적으로 후속하는, 시스템.
제 19 항에 있어서,
상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합하는 수단은, 센서에서 상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합하는 수단을 포함하는, 시스템.
제 19 항에 있어서,
상기 제 1 픽셀 셀 신호와 상기 제 2 픽셀 셀 신호는, CMOS 이미지 센서 및 CCD 이미지 센서 중 하나에 의하여 생성되는, 시스템.
제 24 항에 있어서
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 수단과 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 수단은,
CCD 이미지 센서의 기계적인 셔터를 열고, 이미지 센서를 광에 노출시키는 수단;
상기 광에 기초하여 현상된 (developed) 상기 제 1 샘플을 제 1 시간에 저장 영역으로 전달하는 수단;
상기 저장 영역으로부터 상기 제 1 샘플을 판독하는 수단;
상기 제 1 시간에 시간적으로 후속하는 제 2 시간에 상기 기계적인 셔터를 닫는 수단;
제 2 샘플을 상기 저장 영역으로 전달시키는 수단; 및
상기 저장 영역으로부터 상기 제 2 샘플을 판독하는 수단을 포함하는, 시스템.
제 24 항에 있어서,
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 수단과 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 수단은,
상기 제 1 시간이 상기 제 2 시간과 실질적으로 동시에 끝나도록, 상기 제 1 시간과 상기 제 2 시간을 정렬하는 수단;
상기 제 1 시간에 상기 CMOS 이미지 센서의 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 생성하도록 상기 CMOS 이미지 센서의 상기 복수의 짝수 라인들을 노출시키고, 상기 제 2 시간에 상기 CMOS 이미지 센서의 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 생성하도록 상기 CMOS 이미지 센서의 상기 복수의 홀수 라인들을 노출시키는 수단;
상기 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 다운샘플링 및 업샘플링하는 것 중 하나에 의해, 상기 복수의 홀수 라인들 각각에서 상기 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 발생시키는 수단 및;
상기 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 다운샘플링 및 업샘플링하는 것 중 하나에 의해, 상기 복수의 짝수 라인들 각각에서 상기 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 발생시키는 수단을 포함하는, 시스템.
제 24 항에 있어서,
상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하는 수단과 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 수단은,
픽셀 셀을 리셋하고 상기 픽셀 셀을 광에 노출시키는 수단;
제 1 시간에, 광에 기초하여 현상된 제 1 샘플을 캐패시터로 전달하는 수단;
제 2 시간에, 광에 기초하여 현상된 제 2 샘플을 판독하는 수단; 및
상기 제 2 샘플이 판독된 후에 제 1 샘플을 판독하는 수단을 포함하는, 시스템.
명령들을 포함하는 컴퓨터 판독가능한 매체로서, 상기 명령들은 하나 이상의 프로세서들에 의하여 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고;
제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하고;
가변 가중 팩터를 상기 제 2 샘플에 적용하는 것으로서, 상기 가변 가중 팩터는 함수에 기초하여 정의되는, 상기 제 2 샘플에 적용하고;
상기 제 1 샘플과 가중된 상기 제 2 샘플을 결합하게 하는 명령들을 포함하는, 컴퓨터 판독가능한 매체.
제 28 항에 있어서,
상기 하나 이상의 프로세서들에로 하여금 상기 제 1 샘플과 상기 가중된 제 2 샘플의 결합하게 하는 명령들은, 식:
S_COMBINED(i, j) = S_LONG(i, j)*M(i, j) + n*S_SHORT(i, j)*(1- M(i, j))
에 따라, 상기 하나 이상의 프로세서들에게 상기 제 1 샘플과 상기 가중된 제 2 샘플의 결합하게 하는 명령들을 포함하며,
S_COMBINED는 (i,j)에 위치한 픽셀 셀에 대해, S_SHORT로 표시된 상기 제 1 샘플과 S_LONG로 표시된 상기 제 2 샘플의 결합을 표시하고, n은 상기 제 1 시간과 상기 제 2 시간 사이의 노출 시간의 차이에 의존하는 스칼라 값을 표시하고, M(i, j)는 상기 가변 가중 팩터를 표시하는, 컴퓨터 판독가능한 매체.
제 29 항에 있어서,
상기 M(i, j)의 값은 0 내지 1 인, 컴퓨터 판독가능한 매체.
제 28 항에 있어서,
상기 제 2 시간은 상기 제 1 시간에 시간적으로 후속하는, 컴퓨터 판독가능한 매체.
제 28 항에 있어서,
상기 하나 이상의 프로세서들로 하여금, 상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합하게 하는 명령들은,
하나 이상의 프로세서들로 하여금, 센서에서 상기 제 1 샘플과 상기 가중된 제 2 샘플을 결합게 하는 명령들을 포함하는, 컴퓨터 판독가능한 매체.
제 28 항에 있어서,
상기 제 1 픽셀 셀 신호와 상기 제 2 픽셀 셀 신호는, CMOS 이미지 센서 및 CCD 이미지 센서 중 하나에 의하여 생성되는, 컴퓨터 판독가능한 매체.
제 33 항에 있어서,
상기 하나 이상의 프로세서들로 하여금, 상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고, 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하게 하는 명령들은, 상기 하나 이상의 프로세서들로 하여금,
CCD 이미지 센서의 기계적인 셔터를 열고, 이미지 센서를 광에 노출시키고;
상기 광에 기초하여 현상된 (developed) 상기 제 1 샘플을 제 1 시간에 저장 영역으로 전달하고;
상기 저장 영역으로부터 상기 제 1 샘플을 판독하고;
상기 제 1 시간에 시간적으로 후속하는 제 2 시간에 상기 기계적인 셔터를 닫고;
제 2 샘플을 상기 저장 영역에 전달시키고;
상기 저장 영역으로부터 상기 제 2 샘플을 판독하게 하는 명령들을 포함하는, 컴퓨터 판독가능한 매체.
제 34 항에 있어서,
상기 하나 이상의 프로세서들로 하여금, 상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고, 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하는 것을 일으키는 명령들은, 상기 하나 이상의 프로세서들로 하여금,
상기 제 1 시간이 상기 제 2 시간과 실질적으로 동시에 끝나도록, 상기 제 1 시간과 상기 제 2 시간을 정렬하고;
상기 제 1 시간에 상기 CMOS 이미지 센서의 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 생성하도록 상기 CMOS 이미지 센서의 상기 복수의 짝수 라인들을 노출시키고, 상기 제 2 시간에 상기 CMOS 이미지 센서의 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 생성하도록 상기 CMOS 이미지 센서의 상기 복수의 홀수 라인들을 노출시키고;
상기 복수의 짝수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 다운샘플링 및 업샘플링하는 것 중 하나에 의해, 상기 복수의 홀수 라인들 각각에서 상기 복수의 공간적 장소들 각각에 대한 상기 제 1 샘플을 발생시키고;
상기 복수의 홀수 라인들 각각에서 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 다운샘플링 및 업샘플링하는 것 중 하나에 의해, 상기 복수의 짝수 라인들 각각에서 상기 복수의 공간적 장소들 각각에 대한 상기 제 2 샘플을 발생시키게 하는 명령들을 포함하는, 컴퓨터 판독가능한 매체.
제 34 항에 있어서,
상기 하나 이상의 프로세서들로 하여금, 상기 제 1 샘플을 생성하기 위하여 제 1 시간에 제 1 픽셀 셀 신호를 샘플링하고, 상기 제 2 샘플을 생성하기 위하여 제 2 시간에 제 2 픽셀 셀 신호를 샘플링하게 하는 명령들은, 상기 하나 이상의 프로세서들로 하여금,
픽셀 셀을 리셋하고 상기 픽셀 셀을 광에 노출시키고;
제 1 시간에, 광에 기초하여 현상된 제 1 샘플을 캐패시터로 전달하고;
제 2 시간에, 광에 기초하여 현상된 제 2 샘플을 판독하고;
상기 제 2 샘플이 판독된 후에 제 1 샘플을 판독하게 하는 명령들을 포함하는, 컴퓨터 판독가능한 매체.