KR101120966B1

KR101120966B1 - 카메라에 대한 핸드 지터 감소 시스템

Info

Publication number: KR101120966B1
Application number: KR1020097008384A
Authority: KR
Inventors: 수쉐 취안; 친촨 앤드류 치우; 샤오윈 장; 징창 리; 잉 셰 노예스; 칼린 아타나소브
Original assignee: 퀄컴 인코포레이티드
Priority date: 2006-09-25
Filing date: 2007-01-20
Publication date: 2012-03-05
Also published as: CN101518054A; EP2070312A1; JP2012182806A; JP2010504718A; JP5612017B2; CN101518054B; KR20090057461A; JP5507251B2; WO2008039551A1

Abstract

노멀 모드 및 핸드 지터 감소 (hjr) 모드의 카메라 시스템은 노멀 모드 노출 시간에 노멀 모드 이득을 승산함으로써 제 1 노출 시간-이득 곱을 생성하는 것을 포함할 수도 있다. 또한, 이 카메라 시스템은 제 1 노출 시간-이득 곱과 제 2 노출 시간-이득 곱 사이의 차이를 감소시키는 hjr 모드에 대한 제 2 노출 시간-이득 곱을 생성하기 위해 노멀 모드 노출 시간 및 이득을 변경시키는 것, 이들 변경된 파라미터들을 승산하는 것을 더 포함한다. 이 차이를 감소시키기 위해, 노멀 모드 프레임 레이트가 또한 변경될 수도 있다. 노멀 모드의 카메라 동작은 임계치를 초과하는 감지된 광 레벨에 응답할 수도 있다. 카메라가 동작하는 동안, 사용자에 의해 hjr 모드가 선택될 수도 있다. 임계치보다 낮은 감지 광 레벨에 응답하여 hjr 모드가 이용될 수도 있다.

핸드 지터 감소 모드, 노멀 모드, 변경된 자동-노출 파라미터

Description

카메라에 대한 핸드 지터 감소 시스템{A HAND JITTER REDUCTION SYSTEM FOR CAMERAS}

상호-관련 출원

본 특허 출원은, 발명의 명칭이 "핸드 지터 감소 시스템 설계" 로 2006년 1월 19일자로 출원된 미국 가출원 번호 제60/760,768호의 이점을 주장한다. 본 개시물은, 2006년 9월 25일 본 출원과 동시-출원된, 발명의 명칭이 "회전 이동에 대해 보상하는 핸드 지터 감소" 인 동시-계류중인 특허 출원 번호 제11/534,935호 (도켓 넘버 060268), 및 발명의 명칭이 "선형 변위에 대한 보상을 위한 핸드 지터 감소" 인 동시-계류중인 특허 출원 번호 제11/534,808호 (도켓 넘버 060193) 에 관한 것이다.

기술 분야

본 개시물은 디지털 사진 프로세싱에 관한 것이고, 더욱 상세하게는, 카메라에 대한 핸드 지터 감소 시스템에 관한 것이다.

배경

이동 통신에서 멀티미디어 어플리케이션들에 대한 요구가 현저한 비율로 증가해 왔다. 오늘날, 사용자는 모바일 유닛 또는 핸드셋 상에서의 감상 (viewing) 을 위해, 정지 이미지들을 전송 및 수신할 수 있을 뿐만 아니라 인터넷으로부터 이미지들 및 비디오를 다운로드할 수 있다. 또한, 디지털 카메라를 모바일 유닛에 통합하는 것은 이동 통신에 있어서 멀티미디어 기능에 대한 증대되고 있는 경향에 기여하고 있다.

멀티미디어 기능을 지원하기 위해, 모바일 유닛, 효율적인 디지털 이미징 프로세싱 기술들과 관련된 배터리 성능, 프로세싱 전력, 및 송신 속도와 같은 제한된 양의 리소스가 주어지는 것이 필요하다. 이는, 이미지 품질을 유지하면서 멀티미디어 어플리케이션에 대한 계산 복잡도를 감소시키는 더욱 정교한 하드웨어 및 소프트웨어의 개발을 요구한다. 이러한 하드웨어 및 소프트웨어의 개발은 모바일 유닛에 대해 더욱 낮은 전력 소비 및 더욱 긴 대기 시간을 유도한다.

디지털 이미징 프로세스의 일 양태는 사진으로부터 흐려짐 현상 (blurriness) 을 제거하는 단계를 수반한다. 흐려짐 현상은 핸드 지터 (hand jitter) 에 의해 유발될 수도 있다. 핸드 지터는, 카메라로 디지털 사진을 찍을 때 사용자의 손의 움직임에 의해 유발된다. 사용자가 움직임에 대해 인지하지 못해도, 사용자의 손은 계속해서 움직이고 있을 수도 있다. 그러나, 움직임이 비교적 작지만, 그 움직임이 노출 시간에 비해 큰 경우, 디지털 사진은 흐릿할 수도 있다. 사진 속의 대상물 또는 사람은 이동중인 것으로 나타날 수도 있다. 또한, 사진이 찍힐 때 대상물/사람의 움직임에 의해 흐려짐 현상이 유발될 수도 있다. 또한, 사진을 캡쳐하기 위해 이용된 광학 시스템의 한계에 의해 흐려짐 현상이 유발될 수도 있다.

열악한 조명 조건 하에서, 예를 들어, 모바일 유닛에서 발견되는 것과 같은 디지털 카메라는 사진을 등록하기 위해 더 긴 시간을 취한다. 더 긴 노출 시간 은, 손에 의해 발생된 약간의 움직임이 흐려짐 현상을 유발할 수도 있는 확률을 증가시킨다. 유사하게, 더 긴 노출 시간은, 대상물/사람에 의한 움직임이 노출 시간에 비해 커질 수도 있는 가능성을 증가시킨다.

카메라 움직임에 대해 보상하기 위한 현재의 기술들은 작은 자이로스코프 (gyroscope) 또는 다른 기계적 디바이스들의 이용을 수반한다. 이들 중 어떠한 기술들도, 특히 열악한 조명 조건하에서, 카메라 움직임에 대해 디지털적으로 보상하기 위해 수락가능한 방식을 가진 것으로 여겨지지 않는다. 모든 조건 하에서 모바일 어플리케이션에 적절한 효율적인 프로세싱 리소스들을 통해 디지털 사진의 흐려짐 현상의 양을 감소시키는 것이 바람직하다.

개요

하나 이상의 구성의 세부사항이 이하의 첨부된 도면 및 상세한 설명에 설명된다. 다른 특징, 목적, 및 이점이 이하의 상세한 설명, 도면 및 청구범위로부터 명백해질 것이다.

핸드 지터 감소 (hjr; hand jitter reduction) 모드 및 노멀 모드를 포함하는 카메라 시스템은 노출 시간과 이득을 승산함으로써 동작하여 노출 시간-이득 곱 (exposure time-gain product) 을 발생시킬 수도 있다. 노멀 모드에서의 노출 시간-이득 곱 및 hjr 모드에서의 노출 시간-이득 곱이 있을 수도 있다. 노멀 노출 시간 및 노멀 이득의 노멀 모드에서의 노출 시간-이득 곱은 필요에 따라 테이블에 저장되거나 또는 이용될 수도 있다. hjr 모드의 노출 시간-이득 곱도 또한 테이블에 저장될 수도 있다. hjr 모드의 노출 시간-이득 곱은, 노멀 모드에 서의 노출 시간-이득 곱 테이블 (또는 엔트리) 의 엔트리들을 변경함으로써 (가산, 감산, 승산, 또는 제산함으로써) 생성될 수도 있다. 이와 같이, 별개의 테이블이 필연적으로 필요하지 않을 수도 있지만, 노멀 모드에서의 노출 시간-이득 곱과 비교하기 위해 hjr 모드에서의 동등한 노출 시간-이득 곱이 필요할 수도 있다. hjr 모드에서 동작할 때, hjr 모드에서의 노출 시간-이득 곱과 노멀 모드에서의 노출 시간-이득 곱 사이의 차이를 감소시키기 위해 파라미터들이 변경된다. 카메라 시스템의 이미지 센서가 최소의 평균 광 레벨보다 상위에 있을 수 있는 한, 그 차이가 감소될 수도 있다. 이미지 센서가 최소 평균 광 레벨의 양을 충족하지 않을 수도 있는 hjr 모드의 임의의 범위에서, hjr 모드에서의 노출 시간-이득 곱을 노멀 모드에서의 노출 시간-이득 곱과 동일하게 유지시키는 것은 불가능할 수도 있다. 노멀 모드에서의 카메라 동작은 임계치를 초과하는 감지된 광 레벨에 응답하여 이용될 수도 있다. hjr 모드에서의 카메라 동작은 사용자에 의해 선택될 수도 있다. hjr 모드는 임계치 미만의 감지된 광 레벨에 응답하여 이용될 수도 있다.

도면의 간단한 설명

첨부한 도면에서는, 한정으로서가 아닌 예시로서 다양한 구성이 도시된다.

도 1 은 디지털 이미징 프로세스의 일 구성을 도시하는 블록도이다.

도 2 는 디지털 이미지 프로세싱 시스템에서 하나의 프론트 엔드 이미지 프로세싱 모듈의 일 구성의 기능을 도시하는 블록도이다.

도 3 은 디지털 이미지 프로세싱 시스템에서 프론트 엔드 이미지 프로세싱 모듈의 다른 구성의 기능을 도시하는 블록도이다.

도 4a 는 노멀 모드에 대한 노출 시간 대 광 레벨을 도시하는 그래프이다.

도 4b 는 노멀 모드에 대한 이득 대 광 레벨을 도시하는 그래프이다.

도 5a 는 핸드 지터 감소 모드에 대한 노출 시간 대 광 레벨을 도시하는 그래프이다.

도 5b 는 핸드 지터 감소 모드에 대한 이득 대 광 레벨을 도시하는 그래프이다.

도 6 은 변경된 자동-노출 파라미터를 생성하는 방법을 설명하는 플로우차트이다.

도 7 은, 노멀 모드 및 핸드 지터 감소 모드에서 카메라 시스템을 동작시키는 방식을 설명하는 플로우차트이다.

도 8 은 핸드 지터 감소 모드의 카메라 시스템에서 자동-노출 파라미터의 변경을 설명하는 플로우차트이다.

상세한 설명

본 명세서에서 단어 "예시적인" 은 "예, 예시 또는 실례로서 기능하는" 을 의미하도록 이용된다. 본 명세서에서 "예시적인" 으로 설명된 임의의 구성, 방식, 설계 또는 캘리브레이션이 반드시 다른 구성, 방식, 설계, 또는 캘리브레이션 보다 바람직하거나 또는 유리하다고 해석되어서는 안된다. 일반적으로, 통상보다 더 열악한 조명 조건 및/또는 핸드 지터의 결과로서 디지털 사진의 흐려짐 현상 (blurriness) 을 감소시키는 기술이 본 명세서에 설명된다. 또한, 노멀 모드 및 핸드 지터 감소 모드에서 동작가능한 카메라를 캘리브레이팅하는 기술이 설명된다.

종래의 카메라 디바이스에서, 사용자가 스냅샷을 찍을 때 (최근에는 버튼을 누름으로써 행해짐), 사진을 생성하기 위해 대부분 오직 하나의 프레임만이 이용된다. 사진을 생성하기 위해 하나 보다 많은 프레임을 사용하는 방법은 종종, 이 프레임들이 불량한 결과를 산출하기 때문에 성공적이지 않다. 종래의 카메라 디바이스를 이용하면, 사진은 사용자 자신의 손의 움직임에 의해 발생된 움직임으로 인해 흐려질 수도 있고, 이러한 손의 움직임은 핸드 지터로서 알려져 있다. 또한, 종래의 카메라 디바이스는 사진을 노출하기 위해 요구되는 시간의 양에 의해 어려움이 있다. 열악한 조명 조건하에서, 노출 시간은 통상적으로 증가된다. 노출 시간을 증가시키는 것은, 사용자가 열악한 조명 조건으로 인해 관찰할 수도 있는 노이즈의 양을 증가시킬 뿐만 아니라 핸드 지터가 흐린 사진을 생성할 가능성을 증가시킨다. 최근에, 카메라 디바이스는 사용자에 의해 발생된 핸드 지터를 보상하기 위해 작은 자이로스코프를 포함할 수도 있다. 그러나, 모바일 유닛에 자이로스코프를 장착할 경우 직면되는 수많은 어려움이 있다. 이러한 어려움이 극복된다 하더라도, 디지털 핸드 지터 감소 기술은 자이로스코프를 갖는 디바이스와 결합되어 이용될 수도 있다. 최근의 카메라 디바이스는 또한 열악한 조명 조건하에서 이득을 증가시킬 수도 있다. 불행히도, 단순히 이득을 증가시키는 것은 낮은 광 레벨의 결과로서 존재하는 노이즈를 증폭시킨다. 이 결과는 종종 불량한 품질의 사진이 된다. 유사하게, 핸드 지터에 대한 디지털 보상은 항상 충분한 결과를 제공하지는 않는다. 그러나, 본 개시물 전체에 걸쳐 개시된 기술에 의하면, 핸드 지터를 감소시킬 뿐만 아니라 열악한 조명 조건하에서 노이즈를 감소시킬 수 있게 되었다.

도 1 은, 모바일 유닛에 통합된 카메라 디바이스에 대해 적절한 디지털 이미징 프로세스를 도시하는 블록도이다. 모바일 유닛은 무선 전화, 개인 휴대용 정보 단말기 (PDA; personal digital assistant), 랩탑 컴퓨터, 또는 임의의 다른 모바일 무선 디바이스일 수도 있다. 렌즈 (미도시) 는, 이미지 센서 모듈 (104) 내의 이미지 센서 (102) 에 이미지를 포커싱하도록 이용될 수도 있다. 일 구성에서, 이미지 센서 모듈 (104) 은 이득 및 노출 파라미터들을 저장하는 메모리를 가질 수도 있다. 또한, 이미지 센서 모듈 (104) 은 이득 및 자동-노출 파라미터들을 변경하기 위해 제어 드라이버를 가질 수도 있다. 다른 구성에서, 이미지 센서 모듈 (104) 은 집적 회로 (예를 들어, 이동국 모뎀 (MSM^TM; Mobile Station Modem), 또는 이득 및 자동-노출 파라미터들을 저장하고 변경하는 메모리 및/또는 제어 드라이버를 갖는 다른 모듈) 에 커플링될 수도 있다. 이미지 센서 (102) 는 전하-결합 디바이스 (CCD; charge-coupled device), CMOS (complimentary metal oxide semiconductor) 이미지 센서, 또는 임의의 다른 적절한 이미지 센서일 수도 있다. 이미지 센서 (102) 의 적어도 하나의 구성에서, 반도체들의 어레이는 이미지의 상이한 픽셀들에서 광을 캡쳐하도록 이용될 수도 있다. 이미지 센서 (102) 의 정면에 위치된 CFA (color filter array; 미도시) 는 각각의 반도체에 대해 단일 컬러 (즉, 적색, 녹색 또는 청색) 를 통과시키도록 이용될 수도 있다. 가장 일반적인 CFA 는 RGB 및 CMYG 패턴이다. 이미지 센서 모듈 (104) 은 이미지 센서 (102) 를 구동 또는 제어하여 이득 및/또는 노출 시간을 변경시킬 수도 있다.

사용자가 스냅샷을 찍고 디지털 사진을 생성하기 위해 버튼을 누르기 전에, 이미지 센서 (102) 에 의해 생성된 일련의 프레임을 프리뷰 모드가 캡쳐할 수도 있다. 전체 프레임 또는 그 프레임의 서브-부분은 이미지 또는 상호교환적으로 사진으로 지칭된다. 설명의 목적으로, 편의상 일련의 프레임으로서 프로세싱되는 이미지를 설명한다. 프론트-엔드 이미지 프로세싱 모듈 (106) 을 이용할 때, 전체 프레임이 프로세싱될 필요가 없다는 것을 인식하고 있다. 또한, 프레임의 시퀀스는 스트림으로서 공지되어 있다. 이 스트림은, 이들이 정지 이미지 및 비디오 컴프레서 (108) 에 대한 입력으로서 전체 RGB 해상도를 획득하기 위해 디-모자이킹되는 프론트-엔드 이미지 프로세싱 모듈 (106) 에 제공될 수도 있다. 스트림이 프론트-엔드 이미지 프로세싱 모듈 (106) 을 통해서 통과함에 따라, 프리뷰 모드에서, 디지털 사진의 생성을 돕는 프레임 상에서의 통계가 수집될 수도 있다. 이러한 통계는 노출 계량기, 화이트 밸런스 계량기, 및 포커스 계량기를 통해서일 수도 있지만 이에 한정하지 않는다.

프론트-엔드 이미지 프로세싱 모듈 (106) 은, 이미지 센서 (102) 를 제어하도록 돕는 다양한 신호를 다시 이미지 센서 모듈 (104) 에 공급할 수도 있다. 정지 이미지 및 비디오 컴프레서 (108) 는 JPEG 압축이나, 또는, 임의의 다른 적절 한 압축 알고리즘을 이용할 수도 있다. 프론트-엔드 이미지 프로세싱 모듈 (106) 의 기능들 중 적어도 하나를 돕기 위해 자동-노출 제어 모듈 (110) 은 프론트-엔드 이미지 프로세싱 모듈 (106) 에 의해 프로세싱되는 광 레벨에 비례하는 값을 수신하고, 이 값을 저장된 광 타겟과 비교할 수도 있다. 프론트-엔드 이미지 프로세싱 모듈 (106) 에서의 모듈을 통해서 프로세싱되는 이미지는 디지털 프레임의 일부이다. 또한, 스트림은 디스플레이 모듈 (112) 에 위치될 수도 있는 뷰파인더에 전송될 수도 있다. 프리뷰 모드에서, 디스플레이 모듈 (112) 로부터의 프리뷰 결정은 자동-노출의 제어에 이용될 수도 있다.

디지털 카메라를 갖는 모바일 유닛에서의 프리뷰 모드는 노멀 모드 또는 핸드 지터 감소 (hjr) 모드 중 어느 하나에 이용될 수도 있다. 사용자는 메뉴를 통해서 또는 수동으로 사용자-인터페이스를 통해서 hjr 모드를 선택할 수도 있다 (도 1 에 hjr 선택으로 도시됨). 이득, 자동-노출 시간, 프레임 레이트 및 프로세싱될 프레임들의 수와 같은 자동-노출 파라미터들은, 사용자가 스냅샷을 찍고 디지털 사진을 생성하기 위해 버튼을 누른 후의 순간에 결정될 수도 있다. 수집된 통계는 노멀 모드 및 hjr 모드 모두에서 스냅샷 도중에 이용되는 자동-노출 파라미터들을 결정하는데 이용될 수도 있다. 따라서, 사용자가 버튼을 누른 후, 이미지 프로세싱은 hjr 모드와 노멀 모드 사이에서 상이할 수도 있다. hjr 모드가 선택되었다고 해도, 사용자가 버튼을 누르기 전에, 프리뷰 모드는 노멀 모드에 있는 것처럼 이미지를 프로세싱한다.

도 2 는, 디지털 이미지 프로세싱 시스템에서 하나의 프론트-엔드 이미지 프 로세싱 모듈 (106a) 의 일 구성의 기능을 설명하는 블록도이다. 프론트-엔드 이미지 프로세싱 모듈 (106a) 은, 이미지 센서 (102) 에 의해 생성된 센서 신호들 및 인간의 시각 시스템의 응답들 사이의 차이를 보상하기 위해 이용될 수도 있다. 이 차이는, 예를 들어, 블랙 보정 및 렌즈 롤오프 모듈 (202), 디-모자이크 모듈 (204), 화이트 밸런스 및 컬러 보정 모듈 (206), 감마 조절 모듈 (208), 및 컬러 보정 모듈 (210) 을 포함하는 다양한 프로세싱 기술을 이용하여 보정될 수도 있다. 이 프로세스는 도 2 에서 개별적인 프로세싱 모듈들로서 나타나지만, 이와 다르게, 공유 하드웨어 또는 소프트웨어 플랫폼을 이용하여 수행될 수도 있다. 또한, 이 모듈들은 동일한 기능을 수행하는 복수의 이미지 프로세싱 모듈을 포함할 수도 있고, 이에 따라, 상이한 이미지들 상에서 동시에 이 기능들을 수행하는 것을 허용한다.

컬러 보정 모듈이 프레임을 프로세싱한 후, 3 개의 컬러 이미지 성분 (Y, Cb, 및 Cr) 이 핸드 지터 제어 모듈 (212) 에 전송될 수도 있다. 자동-노출 제어 모듈로부터의 다양한 파라미터들이 핸드 지터 제어 모듈 (212) 에 공급될 수도 있다. 핸드 지터 제어 모듈 (212) 은 다양한 목적으로 작용할 수도 있다. 핸드 지터 제어 모듈 (212) 은 스냅샷 이후에 수행되는 이미지 프로세싱을 결정할 수도 있다. 핸드 지터 제어 모듈 (212) 은 hjr 선택의 값을 검출할 수도 있고, 핸드 지터 감소 (hjr) 의 수행이 필요한지의 여부를 결정할 수도 있다. 사용자가 hjr 모드를 선택했다고 하더라도, 핸드 지터 제어 모듈 (212) 은 노멀 모드에서 수행된 것과 같은 이미지 프로세싱이 발생할 수도 있음을 결정할 수도 있다. 핸드 지터 제어 모듈 (212) 은, hjr 모드에서의 이미지 프로세싱이 발생함을 결정할 수도 있다. hjr 모드에서의 디지털 사진 이미지 프로세싱을 생성하는 것은 단일 프레임 또는 복수의 프레임들을 캡쳐하는 것을 포함할 수도 있다. 핸드 지터 제어 모듈 (212) 이, 복수의 프레임들이 캡쳐될 것이라고 결정하는 경우, hjr 제어 모듈을 통과한 후에, 수많은 프레임들이 노이즈 감소/프레임 등록 모듈 (214) 에 의해 프로세싱될 수도 있는 방식을 나타내는 파라미터와 함께, 이 프레임들은 노이즈 감소/프레임 등록 모듈 (214) 에 전송될 수도 있다. 단일 프레임이 프로세싱되는 경우, 노이즈 감소는 노이즈 감소 모듈 (215) 을 사용하여 단일 프레임 상에서 노이즈 감소를 수행할 수도 있다. 노이즈 감소 모듈은 베이어 필터 (bayer filter), 또는 다른 유사한 필터일 수도 있다. 복수의 프레임들이 프로세싱되는 경우, 노이즈 감소/프레임 등록 모듈 (214) 은 핸드 지터 제어 모듈 (212) 에 의해 특정된 프레임의 수 (NUMF) 를 버퍼링할 수도 있고, 이들에 대한 프레임 등록을 수행할 수도 있다. 프레임의 수 및 광 레벨에 따라서, 복수의 프레임 등록의 목적은 노이즈 감소 및/또는 흐림 감소의 목적에 대해 작용할 수도 있다. 복수의 프레임 등록이 프레임 등록 모듈 (216) 에 의해 수행될 수도 있다.

사용자가 hjr 모드를 선택했다고 하더라도, 핸드 지터 제어 모듈 (212) 이, 노멀 모드에서와 동일하게 이미지 프로세싱이 수행됨을 결정하는 경우, 노이즈 감소/프레임 등록 모듈 (214) 은 이용되지 않을 수도 있고, 예를 들어, 컬러 보정 모듈 (210) 로부터의 출력이 이용될 수도 있다. 핸드 지터 제어 모듈 (212) 에 의해 어떤 이미지 프로세싱 (노멀 모드에서의 이미지 프로세싱 또는 hjr 모드에서 의 이미지 프로세싱) 인지에 따라서, 멀티플렉서 (217) 의 어떤 출력을 후-처리 모듈 (218) 에 전송할지를 선택하기 위해 신호 (SEL) 가 이용될 수도 있다. 후-처리 모듈 (218) 의 출력은 정지 이미지 및 비디오 컴프레서 (108) 및/또는 디스플레이 모듈 (112) 에 전송될 수도 있다.

노이즈 감소 및/또는 프레임 등록에 이용하기 위한 프레임의 수 (NUMF) 및 선택 신호 (SEL) 를 출력하는 것 이외에, 핸드 지터 제어 모듈 (212) 이 또한 다른 파라미터들: 신규의 자동-노출 프레임 레이트 (AE FR_NEW), 신규의 자동-노출 이득 (AE GAIN_NEW), 신규의 자동-노출 시간 (AE TIME_NEW), 및 프로세싱될 프레임의 수 (NUMF) 를 출력할 수도 있다. 이 파라미터들은 이미지 센서 모듈 (104) 에 전송되어 이미지 센서 (102) 를 제어할 수도 있다. 또한, 디지털 이득이 핸드 지터 제어 모듈 (212) 에 의해 출력될 수도 있고, 이미지 센서 모듈 (104) 이후에 임의의 모듈에 적용될 수도 있다. 예시로서, 화이트-밸런스/컬러 보정 모듈 (206) 도중에 디지털 이득이 적용될 수도 있다.

당업자는, 픽셀들에 대해 일반적으로 기술하였지만, 서브-픽셀, 또는 복수의 픽셀들도 프론트-엔드 이미지 프로세싱 모듈 (106a) 로의 입력으로서 이용될 수도 있다는 것을 인식할 것이다. 또한, 이러한 이미지-성분들의 서브-세트 또는 다른 형태: RGB, 및 공간-주파수 변환된 픽셀들이 핸드 지터 제어 모듈, 예를 들어, 핸드 지터 제어 모듈 (212) 에 전송될 수도 있다. 이와 같이, 디지털 이미지 프로세싱 시스템에서의 프론트 엔드 이미지 프로세싱 모듈의 기능을 캡쳐하는 다른 구성이 도 3 에 도시된다.

도 3 에서, 핸드 지터 제어 모듈 (212), 노이즈 감소/프레임 등록 모듈 (214), 및 멀티플렉서 (217) 가 블랙 보정 및 렌즈 롤-오프 모듈 (202) 과 디모자이크 모듈 (204) 사이로 이동되었고 그 사이에 삽입되었다. 프론트 엔드 이미지 프로세싱 모듈 (106b) 에 내장된 이 구성은, 핸드 지터 제어 모듈 (212) 이 Y, Cb, 및 Cr 이 아닌 R, G, 및 B 이미지 성분상에서 동작할 수도 있음을 나타낸다. 일반적으로, 이미지 센서 (102), 및 전술한 임의의 디스플레이 모듈 (112) 또는 정지 이미지 및 비디오 컴프레서 모듈 (108) 에 의해 광이 캡쳐된 후에 임의의 후속 모듈에서 핸드 지터 제어 모듈 (212) 이 동작할 수도 있다.

노멀 모드 및 핸드 지터 감소 모드는 적어도 하나의 자동-노출 시간-이득 테이블을 생성함으로써 캘리브레이팅될 수도 있다. 자동-노출 시간-이득 테이블은 노출 시간 컬럼 및 이득 컬럼을 가질 수도 있다. 노출-시간 컬럼에서의 엔트리와 이득 컬럼에서의 엔트리를 승산하여 노출-시간 이득 곱을 생성할 수도 있다. 자동-노출 시간-이득 테이블에서 각각의 로우 엔트리 또는 인덱스는 광 레벨 값을 나타낼 수도 있고, 즉, 각각의 광 레벨이 자동-노출 시간-이득 테이블에서 자동-노출 인덱스에 매핑될 수도 있다. 자동-노출 시간-이득 테이블(들)은, 도 4a, 도 4b, 도 5a 및 도 5b 에서 지정된 바와 같이 다양한 범위의 동작을 가질 수도 있다. 4 개의 가능한 광 레벨의 범위, R1, R2, R3 및 R4 가 4 개의 도면 (도 4a, 도 4b, 도 5a 및 도 5b) 모두에서 가로좌표-축에 도시되어 있다. 범위들의 분리는 상이한 경계, BOUNDARY_A, BOUNDARY_B, 및 BOUNDARY_C 에 의해 규정될 수도 있다. 가로좌표-축의 최좌측에 도시된 광 레벨은 높게 (high) 시작하고 그후 가로좌표-축의 최우측에 도시된 바와 같이 낮게 (low) 감소한다. 각각의 범위에서 노출 시간-이득 곱, 즉, (노출 시간)*(이득) 은 감소되지 않아야만 한다. 따라서, 노출 시간 또는 이득 중 하나에서의 감소는 이득 또는 노출 시간의 증가로 이어질 것이다. 자동-노출 시간-이득 테이블(들) 은 센서(들)의 유형, 카메라의 설정 및/또는 특성에 따라서 캘리브레이팅될 수도 있다. 테이블(들)은 또한 1 보다 큰 프레임 레이트를 이용하여 캘리브레이팅될 수도 있다. 또한, 테이블(들)은, 예를 들어, 프론트-엔드 이미지 프로세싱 모듈 (106) 및 정지 이미지 및 비디오 컴프레서 모듈 (108) 과 같은 주요 이미지 프로세싱을 수행하는 집적 회로상의 메모리에 저장될 수도 있다. 또한, 테이블(들)은 주요 이미지 프로세싱을 수행하는 집적 회로상에 있지 않은 메모리에 저장될 수도 있다. 양자의 경우, 주요 이미지 프로세싱과 동일한 집적 회로상에 있는지의 여부에 관계없이, 테이블은 이미지 센서 모듈 (104) 에 커플링될 수도 있다.

도 4a 는 노멀 모드에 대한 노출 시간 대 (검출된) 광 레벨을 도시하는 그래프이며, 도 4b 는 노멀 모드에 대한 이득 대 (검출된) 광 레벨을 도시하는 그래프이다. 광 레벨이 범위 (R1) 에서 높기 때문에, 노출 시간은 짧은, 즉, 낮은 값이다. 유사하게, 범위 (R1) 에서, 이득은 공칭값 (nominal value) 이며, 즉, 다른 범위에 비해 낮다. 대상물을 천천히 이동시키기 위해, 또는 사용자의 손의 움직임이 매우 작으면 (즉, 대략 5ms), 범위 (R1) 에서 흐림 및/또는 노이즈 감소를 보정하는데 최소한의 이점이 있을 수도 있다. 흐림 및/또는 노이즈 감소가 수행되었다고 하더라도, 사용자의 눈에는 가시적이지 않을 수도 있다. 따라 서, BOUNDARY_A 는, 흐림 및/또는 노이즈 감소가 사용자에게 가시적인 포인트 주변, 즉, 흐림 및/또는 노이즈 감소를 사용자가 가시적으로 관찰할 수 있는 노출 시간 및 이득의 조합에 놓인다. 범위 (R1) 및 범위 (R2) 를 분리하는 BOUNDARY_A 는 사용자마다 및/또는 카메라마다 다를 수도 있다. BOUNDARY_A 는 또한 노멀 모드에서의 이미지 프로세싱과 hjr 모드에서의 이미지 프로세싱 사이의 임계치로 고려될 수도 있다.

범위 (R1 및 R2) 에서, 카메라는 일 프레임 레이트, 예를 들어, fr1 에서 동작할 수도 있다. 도 4a 에 도시된 바와 같이, 광 레벨이 감소함에 따라, 범위 (R1) 에서, 노출 시간이 증가한다. 범위 (R1) 에서 노출 시간은 증가한다. 범위 (R2) 에서 노출 시간이 프레임 레이트 1 (fr1) 에 대해 최대값에 도달할 때까지, 노출 시간은 계속해서 증가할 수도 있다. 이 광 레벨에서, 노출 시간이 프레임 레이트 1 (fr1) 에 대한 최대값에 처음으로 도달되면, (도 4b 에 도시된) 이득은 증가하기 시작할 수도 있다. 이득은, 캘리브레이션 도중에 설정된 사전-결정된 값이 노이즈의 수락가능한 레벨의 포인트에 있을때까지 계속해서 증가할 수도 있다. 이득이 최대값으로 증가되는 경우, 노이즈의 레벨은 주어진 노출 시간에 대해 수락가능하지 않을 수도 있다. 노멀 모드에서, BOUNDARY_B 는, 프레임 레이트 1 (fr1) 에서의 노출 시간이 최대값에 있고, 이득이 노이즈의 수락가능한 레벨에 있는 사전-결정된 값에 있는 포인트로서 지정될 수도 있다. 범위 (R2) 및 범위 (R3) 를 분리하는 BOUNDARY_B 는 카메라마다 다를 수도 있다.

하나의 범위에서 다른 범위로의 전이를 가능한 한 연속적으로 만드는 것이 바람직하다. 따라서, 범위 (R2) 에서 최우측에 있는 노출 시간-이득 곱은 범위 (R3) 에서 최좌측에 있는 노출 시간-이득 곱과 비슷하거나 동일할 수도 있다. 범위 (R2) 에서 최우측에 도시된 바와 같이, 노출 시간이 최대값에 있기 때문에, 프레임 레이트는 BOUNDARY_B 에서 낮아질 수도 있다. 프레임 레이트를 낮추는 것, 즉, 프레임 레이트를 fr1 에서 fr2 로 변화시키는 것은 노출 시간의 증가를 허용한다. 노출 시간은 신규의 프레임 레이트인 프레임 레이트 2 (fr2) 에 대해 최대값에 도달할 수도 있다 (도 4b 에서 범위 (R3) 로 도시됨). 범위 (R2) 및 범위 (R3) 사이의 노출 시간-이득 곱의 연속성을 보존하기 위해, 범위 (R3) 에서의 이득은 노출 시간의 증가를 오프셋하기 위해 저하된다. 이득은 최대값에 이를때까지 증가할 수도 있다. 디지털 이득이 적용될 수도 있지만, 노멀 모드에서 이용된 이득은 통상적으로 아날로그이다. 노멀 모드에서의 BOUNDARY_C 는 아날로그 이득이 최대값에 도달하는 포인트이다. 노멀 모드에서의 BOUNDARY_C 에서, 대응 광 레벨은 핸드 지터 감소 모드에서 체크될 광 타겟으로서 저장될 수도 있다.

핸드 지터 감소 (hjr) 모드는 다른 자동-노출 시간-이득 테이블을 생성함으로써 캘리브레이팅될 수도 있다. 핸드 지터 감소 모드에서 바람직한 "동등한" 자동-노출 시간-이득 테이블을 생성하기 위해 감산(들), 가산(들), 제산(들) 또는 승산(들) 이 노멀 모드의 자동-노출 시간-이득 테이블 엔트리들에서 수행될 수도 있다. 다른 자동-노출 시간-이득 테이블 또는 "동등한" 자동-노출 시간-이득 테이블의 컬럼에서 (노출 시간 및 이득) 특징들은 도 5a 및 도 5b 로 도시된다. hjr 모드에서 스냅샷을 찍을 때, 동등한 자동-노출 시간 이득 테이블을 통한 노출 시간 및 이득에 대한 변화는 노멀 모드에 관련하여 프리뷰 모드에서 수행된다. 프리뷰 모드는 노멀 모드의 특징 및 자동-노출 파라미터를 이용한다.

도 5a 는, 핸드 지터 감소 모드에 대한 노출 시간 대 (검출된) 광 레벨을 도시하는 그래프이다. 도 5b 는 핸드 지터 감소 모드에 대한 이득 대 (검출된) 광 레벨을 도시하는 그래프이다. 핸드 지터 감소 (hjr) 모드에서, 목표는, 노출 시간-이득 곱을 노멀 모드에서와 동일하게 유지하는 것을 돕는 것이다. 따라서, [hjr 모드에서의 노출 시간]*[hjr 모드에서의 이득] 은 [노멀 모드에서의 노출 시간]*[노멀 모드에서의 이득] 과 동일하게 하도록 지향되어야만 한다. 전술한 바와 같이, 범위 (R1) 에서 핸드 지터를 감소시키는 시도는 인간의 눈에 가시적이지 않을 수도 있기 때문에 최소한의 이점이 있다. 범위 (R1) 에서, hjr 모드에서의 이득 및 노출 시간은 노멀 모드에서와 동일할 수도 있다. 따라서, 범위 (R1) 에서 노멀 모드에서 발생하는 이미지 프로세싱은 또한 hjr 모드에서의 범위 (R1) 에서 발생할 수도 있다. 그러나, 범위 (R2, R3, 및 R4) 에서, 이미지 프로세싱은 hjr 모드에서 발생한다. 핸드 지터를 감소시키기 위한 이미지 프로세싱은 변경된 자동-노출 파라미터에 의해 수행되는 한편, 핸드 지터의 감소를 요구하지 않는 이미지 프로세싱은 변경되지 않은 자동-노출 파라미터에 의해 수행된다.

더욱 긴 노출 시간은, 손에 의해 발생되는 약간의 움직임이 흐려짐 현상을 유도할 수도 있는 가능성을 증가시킨다. 따라서, 눈이 흐림 및/또는 노이즈 감 소를 검출할 수 있으면, 범위 (R2) 에서, 노출 시간은 감소되어야만 한다. 그러므로, 핸드 지터가 흐려짐 현상을 초래할 가능성을 저하시키기 위해 범위 (R2) 에서의 노출 시간이 (도 5a 에 도시된 바와 같이) 감소된다. 노출 시간의 감소를 상쇄하기 위해, (도 5b 에 도시된 바와 같이) 범위 (R2) 에서의 이득이 증가된다. 노출 시간 및 이득의 범위 (R2) 에서의 형상이 노멀 모드에서와 동일하게 hjr 모드에서도 보존된다는 것에 유의한다. 범위 (R2) 에서의 노멀 모드와 hjr 모드 사이의 차이점들 중 하나는, 노멀 모드로부터의 노출 시간 및 이득이 hjr 모드로부터 오프셋된다는 것이다. hjr 모드에서, 노출 시간은 노멀 모드에서 보다 낮은 오프셋에 있고, 이득은 노멀 모드에서 보다 높은 오프셋에 있다. 그러나, 범위에서의 노출 시간-이득 곱은 노멀 모드 및 hjr 모드 양자 사이에서 동등하다.

전술한 바와 같이, 노멀 모드 또는 hjr 모드 중 어느 하나에서, 일련의 프레임이 프리뷰될 수도 있다. 프리뷰 모드는 노멀 모드의 특징 및 (변경되지 않은) 자동-노출 파라미터를 이용한다. hjr 모드에서, 동등한 자동-노출 시간 및 이득 테이블은 노멀 모드에 관련하여 프리뷰 모드에 있다. 따라서, 노출 시간, 이득, 또는 프레임 레이트를 증가시키거나 또는 감소시킬 때, 그것은 프리뷰 모드에서의 값에 관련된다. hjr 모드에서, 노출 시간-이득 곱이 노멀 모드에서와 같이 그 노출 시간-이득 곱과 동일한 값에 도달할 때 체크함으로써, BOUNDARY_B 가 결정될 수도 있다. hjr 모드에서, 광 레벨이 범위 (R3) 에 있으면, 프레임 레이트는 프레임 레이트 fr2 보다 큰 양만큼 증가할 수도 있다. 이는, 범위 (R3) 의 프리뷰 모드에서 프레임 레이트가 fr2 (fr1 보다 낮은 레이트) 이기 때문에 발생할 수도 있다. 예를 들어, 프레임 레이트 fr1 가 30 fps (frame per second) 이고, 프레임 레이트 fr2 가 15fps 인 경우, hjr 모드에서 15fps 의 프레임 레이트는 프레임 레이트 fr1 까지 소정 량 L 만큼 증가될 수도 있다. 이 예에서, L 은 15fps 이다. 따라서, hjr 모드에서, 프레임 레이트를 15fps 에서 30fps 까지 증가시키는 것은, 예를 들어, 범위 (R3) 에서의 노출 시간이 노멀 모드에 대한 범위 (R2) 에서의 값으로 최대화되도록 허용한다. 범위 (R3) 에서의 노출 시간의 증가는 범위 (R3) 에서의 이득의 감소로 이어질 수도 있다. 아날로그 이득이 범위 (R1, R2, 및 R3) 에 걸쳐 이용되는 경우, hjr 모드에서의 (범위 (R2) 의 최좌측에서의) 증가된 이득 오프셋 때문에, 범위 (R3) 에서의 아날로그 이득이 포화될 수도 있는데, 즉, BOUNDARY_C 이전에 범위 (R3) 의 최우측에서 알 수 있는 바와 같이 최대에 도달할 수도 있다. 최대 아날로그 이득을 초과하여 동작하기 위해, 디지털 이득이 아날로그 이득에 부가될 수도 있다. 디지털 이득이 범위 (R3) 와 범위 (R4) 사이에서 도 5b 의 하부에 도시된다.

BOUNDARY_C 에서 노멀 모드에서 광 레벨은 hjr 모드에서 체크되는 소정의 광 타겟으로서 저장될 수도 있다. hjr 모드에서, 광 레벨이 저장된 광 타겟의 레벨 이하인 경우, 이미지 센서 (102) 가 이미지 센서 (102) 에 대한 최소의 평균 광 레벨을 생성하는데 충분한 광이 없을 수도 있다. 최소 평균 광 레벨은 각각의 픽셀에서 광 값 (루마 및/또는 색차) 을 가산하고, 전체 픽셀 수만큼 제산함으로써 결정될 수도 있다. 이미지 센서 (102) 에 대한 최소의 평균 광 레벨을 계산하 는 다른 방법은 특정 임계치 이하의 모든 픽셀들을 컴퓨터 조작에서 훼손시키는 것이다. 예를 들어, 값 10 이하의 픽셀들이 이용되지 않고, (특정 임계치를 초과하는) 남아있는 픽셀들은 최소 평균 광 레벨을 계산하는데 이용된다. 통상적으로, 색차 값이 이용될 수도 있지만, 루마 광 값이 이용된다. 설명의 목적으로, 루마 값이 기술된다. hjr 모드에서, 루마 값이 사전결정된 루마 (광) 타겟 이하인 경우, 광 (루마) 레벨은 범위 (R4) 에 있을 것이다.

광 레벨이 hjr 모드에서 루마 타겟 이하에 있다고 결정되는 경우, 프리뷰 모드에서 fr2 였던 프레임 레이트는 변경될 필요가 없다. 그러나, 노출 시간은 감소된 광량 때문에 조절될 수도 있고 증가될 수도 있다. 노출 시간은 프레임 레이트 fr2 에 대해 허용가능한 최대값으로 증가될 수도 있다. 노출 시간에서의 증가를 상쇄하기 위해, 디지털 이득이 BOUNDARY_C 에서 감소되고, 범위 (R4) 에서 계속해서 증가할 수도 있다.

범위 (R1, R2, 및 R3) 에 걸쳐서, 노멀 모드 및 hjr 모드 사이의 노출-시간 이득 곱은 동일하게 되도록 지향된다. 즉, 이 둘 사이의 차이가 가능한 한 0 에 가깝도록 감소되어야만 한다. 범위 (R4) 에서, 이미지 센서 (102) 는 광 레벨의 최소 평균량을 충족시키지 않을 수도 있다. 따라서, 범위 (R4) 에서 이득 레벨을 증가시키기 위해 디지털 이득이 적용될 수도 있다.

도 6 은 변경된 자동-노출 파라미터를 생성하는 방법을 도시하는 플로우차트이다. 플로우차트에 도시된 바와 같이, 프레임은 스냅샷 이후에 캡쳐될 수도 있다 (600). 프리뷰 모드에서 프로세싱된 마지막 프레임은 메모리에 저장될 수 도 있다. 캡쳐는, 메모리로부터의 프레임의 검색 (retrieval) 이 디지털 사진을 생성하도록 이용될 수도 있다는 것을 의미한다. 모바일 유닛상에서의 현재 프레임 레이트 및 메모리 저장 성능에서, 스냅샷 이후에 메모리에는 10 개 미만의 프레임이 있을 수도 있다. 디지털 사진을 생성할 때 메모리 내의 모든 프레임이 필요하지 않을 수도 있다. 통상적으로, 3 개까지의 캡쳐된 프레임이 디지털 사진을 생성하는데 이용될 수도 있다. 스냅샷 이후에 변경된 자동-노출 파라미터를 생성하기 위해, 카메라는 hjr 모드에 있을 수도 있다. 따라서, 다른 실시형태에서, hjr 모드로의 진입 (602) 은 스냅샷 이후에 프레임을 캡쳐하는 것보다 선행할 수도 있다. 그렇지만 도 6 에서는, hjr 모드로의 진입 (602) 은 스냅샷 이후에 프레임을 캡쳐한 후로 도시되었다. hjr 모드에서, 검출된 광 레벨이 노멀 모드로부터의 변경되지 않은 자동-노출 파라미터와 관련된다 (604). 변경되지 않은 이득 및 노출 시간이 검출된 광 레벨에서 메모리로부터 검색될 수도 있다 (606). 노멀 모드에서의 노출 시간-이득 곱의 계산은 노멀 모드로부터의 노출 시간과 이득을 승산함으로써 수행될 수도 있다 (608). hjr 모드에서의 노출 시간-이득 곱은 노멀 모드로부터의 자동-노출 파라미터를 변경시킴으로써 계산될 수도 있다. 이러한 자동-노출 파라미터들은 이득, 노출 시간 및/또는 프레임 레이트일 수도 있다. 자동 노출 파라미터들은 hjr 모드에서의 노출 시간-이득 곱과 노멀 모드에서의 노출 시간-이득 곱 사이의 차이를 감소시키기 위해 변경될 수도 있다 (610). 따라서, hjr 모드에서의 노출 시간-이득 곱은 노멀 모드에서의 노출 시간-이득 곱에 대응한다. 이상적으로, 이 대응성은 동일해야만 한다. 그러나, 승산시에 잠재적인 계산 정밀도 차이 및 hjr 모드와 노멀 모드 사이에서 약간의 차이가 있는 잠재적인 검출 광 레벨 때문에, 그 대응성이 동일하지 않을 수도 있다. hjr 모드와 노멀 모드에서의 노출 시간-이득 곱들 사이의 차이가 가능한 한 많이 감소된다면 충분하다.

또한, 전술한 범위 (R4) 와 같은 hjr 모드의 범위에서, 이미지 센서 (102) 는 광 레벨의 최소 평균 양을 충족시키지 않을 수도 있다. 따라서, hjr 모드에서의 노출 시간-이득 곱을 노멀 모드에서의 노출 시간-이득 곱과 동일하게 유지시키는 것이 불가능할 수도 있다.

도 7 은, 노멀 모드와 핸드 지터 감소 모드에서의 카메라 시스템의 동작 방법을 설명하는 플로우차트이다. 이미지를 생성하기 위해, 첫 번째 동작은 스냅샷 이후에 프레임(들)을 캡쳐하는 것이다 (700). 캡쳐한 후, hjr 모드가 선택되었는지의 여부를 확인하는 체크가 수행된다. hjr 모드가 선택되지 않으면, 변경되지 않은 자동-노출 파라미터가 이미지 센서를 제어하기 위해 통과될 수도 있다 (704). 이들 파라미터는, 자동-노출 프레임 레이트 (ae fr), 자동-노출 시간 (ae time), 자동-노출 이득 (ae gain), 측정된 루마, 및 루마 타겟일 수도 있다. hjr 모드가 선택되면, 필요한 경우, 자동-노출 파라미터의 변경이 수행된다 (706). 다음 동작에서, 광 레벨이 범위 (R1), 즉 동일한 (또는 거의 동일한) 파라미터가 노멀 모드에 존재하는 범위에 있는지의 여부를 확인하는 체크가 수행된다 (708). 광 레벨이 BOUNDARY_A 에 있는 광 레벨보다 클 경우 (즉, 광 레벨이 범위 (R1) 에 있는 경우), 변경되지 않은 자동-노출 파라미터가 이미지 센서를 제어하기 위해 통과될 수도 있다 (704). hjr 모드가 선택된다고 하더라도, 노멀 모드의 이미지 프로세싱이 수행될 수도 있다. 후속하는 동작에서, 변경되지 않은 자동-노출 파라미터가 이미지 센서를 제어하기 위해 통과된 후, 디지털 사진의 프로세싱이 계속될 수도 있다 (710). (결정 블록 (708) 에서의 체크에 의해 수행된 것과 같이) 광 레벨이 BOUNDARY_A 에서의 광 레벨 미만인 경우, 프레임의 수 (NUMF), 및 디지털 이득과 함께, 변경된 자동-노출 파라미터가 이미지 센서를 제어하는데 이용될 수도 있다 (711). 변경된 자동-노출 파라미터는 신규의 자동-노출 프레임 레이트 (AE FR_NEW), 신규의 자동-노출 시간 (AE TIME_NEW), 신규의 자동-노출 이득 (AE GAIN_NEW), 측정된 루마, 및 루마 타겟일 수도 있다. 디지털 사진을 생성하기 위해 프로세싱될 프레임의 수 (NUMF) 가 체크될 수도 있다 (712). NUMF 가 1 보다 큰 경우, 복수의 프레임이 등록될 수도 있다 (714). 프레임 등록은 프레임들 사이에서의 이동 (수평, 수직, 또는 각도 이동) 에 대해 보상할 수도 있다. 프레임 등록 이후에 결과 이미지의 강도는 증가할 수도 있다. 또한, NUMF 가 2 보다 큰 경우, 프레임 등록은 노이즈 감소에 도움을 줄 수도 있다. 또한, NUMF 가 1 이고 hjr 모드가 선택된 경우, 노이즈의 감소가 수행될 수도 있다 (716). 하나의 프레임에서 노이즈를 감소시키는 가능한 방법은 이미지 성분에 베이어 필터링을 적용하는 것이다. 노이즈 감소가 수행된 후, 디지털 사진의 프로세싱이 계속될 수도 있다 (710). 도 7 의 블록 (702, 704, 706, 및 711) 이 핸드 지터 제어 모듈 (212) 에서 발견될 수도 있어야만 한다.

도 8 은 핸드 지터 감소 모드의 카메라 시스템에서 자동-노출 파라미터의 변 경을 설명하는 플로우차트이다. hjr 모드가 선택될 수도 있지만, 노멀 모드에서의 이미지 프로세싱이 여전히 이용될 수도 있다. 결정 블록 (800) 에서 체크가 수행되고, 광 레벨이 BOUNNDARY_A 에서의 광 레벨보다 큰 경우, 디지털 사진을 생성하기 위해 프로세싱할 프레임의 수 (NUMF) 는 1 로 설정되고 (802), 노멀 모드에서의 이미지 프로세싱이 이용된다. 이 경우, 자동-노출 파라미터의 변경이 없었다. 광 레벨이 BOUNNDARY_A 에서의 광 레벨 미만인 경우, hjr 모드에서의 이미지 프로세싱이 이용될 수도 있다. 디지털사진을 생성하기 위해 프로세싱할 프레임의 수 (NUMF) 는 1 로 설정된다 (804). 도 5a 및 도 5b 에 도시된 바와 같이, 노출 시간은 약간의 양 M 만큼 감소될 수도 있다 (806). M 이 존재할 수도 있는 넓은 범위가 있지만, 약 50% 또는 이와 근사한 값이 양호한 결과를 나타내었다. 또한, 이득이 양 K 만큼 증가할 수도 있다 (808). hjr 모드에서의 노출 시간-이득 곱이 노멀 모드에서의 노출 시간-이득 곱을 유지하는데 도움을 주기 때문에, 핸드 지터를 감소시키기 위해 K 에 대한 약 200% 또는 이와 근사한 값이 나타났다.

증가된 이득이 이미지 센서의 최대 아날로그 이득을 초과하는 경우, K 만큼 증가된 이득과 최대 (아날로그) 이득 사이의 최소값의 선택이 이용될 수도 있다 (810). 또한, 이러한 선택은, 디지털 이득이 R2 와 같은 범위에서 이용되는 구성에서 이용될 수도 있다 K 만큼 증가된 이득과 신규의 아날로그 이득 (AE_GAIN_NEW) 의 비율이 정수 (C1) 와 비교될 수도 있다 (812). C1 은 센서의 최대 아날로그 이득과 관련되고, 통상의 값은 1 일 수도 있다. C1, 및 K 만큼 증가된 이득과 신규의 아날로그 이득의 비율의 최소값이 선택되고 (814), 이 최소값에 디지털 이득이 적용될 수도 있다.

결정 블록 (816) 은 광 레벨이 BOUNDARY_B 에서 광 레벨보다 큰지의 여부를 비교한다. 광 레벨이 BOUNDARY_B 에서의 광 레벨보다 큰 경우, 필요하면, 자동-노출 파라미터의 변경이 종료한다 (706). 광 레벨이 BOUNDARY_B 에서의 광 레벨보다 작은 경우, 결정 블록 (818) 은 광 레벨이 BOUNDARY_C 에서의 광 레벨보다 큰지를 비교한다. 광 레벨이 BOUNDARY_C 에서의 광 레벨보다 큰 경우, 프레임 레이트는 양 L 만큼 증가할 수도 있다 (820). 전술한 바와 같이, 범위 (R3) 에서, hjr 모드에서의 프레임 레이트 fr2 는 프레임 레이트 fr1 (fr1 포함) 까지 증가될 수도 있다. 따라서, L 은 프레임 레이트를 프레임 레이트 fr1 에 근접하게 (fr1 포함) 조절하는 양일 수도 있다. 디지털 사진을 프로세스하는 프레임의 수 (NUMF) 는 2 로 설정될 수도 있다 (822). 광 레벨이 BOUNDARY_C 에서의 광 레벨보다 작은 경우, hjr 모드에서 신규의 노출 시간 (824) 및 신규의 이득 (826) 은 노멀 모드에서 이용되는 것들과 동일할 수도 있다. 측정된 루마에 대한 LUMA_TARGET 의 비율 (즉, 이미지 센서에 대한 평균 루마) (828) 은 정수 (C2) 와 비교될 수도 있다. 정수 (C2) 및 측정된 루마에 대한 LUMA_TARGET 의 비율 사이의 최소값 선택 (830) 은 디지털 이득을 발생시킬 수도 있다. 통상적인 값 2 가 이용될 수도 있고, 범위 (R4) 에서 측정된 루마가 LUMA_TARGET 의 절반 (half) 미만으로 하강했을 경우에는 그 비율 대신에 정수를 이용하여 2 와 대응할 수도 있다. 이미지 센서가 LUMA_TARGET 을 충족시키지 않을 때, 디지털 사진을 생성하기 위해 프로세싱하는 더욱 많은 수의 프레임, NUMF 이 프레임 등록 이후에 노이즈를 감소시키고 강도를 개선시키는데 이용될 수도 있다. 이러한 경우, NUMF 에 대해, 프레임의 최소값 3 (832) 이 충분한 것으로 확인되었다.

다수의 상이한 구성 및 기술이 설명되었다. 이 기술은 더 긴 노출 시간을 통해서 이미지로부터 흐려짐 현상을 제거하는 방법을 개선할 수도 있다. 이 기술 및 구성은 또한 사진을 찍는 실질적 임의의 디지털 디바이스에 대한 핸드 지터의 감소를 도와줄 수도 있다. 이 기술 및 구성은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 기술 및 구성은 컴퓨터-판독가능 프로그램 코드 (또한, 컴퓨터-코드로도 지칭될 수도 있음) 를 포함하는 컴퓨터-판독가능 매체로 구성될 수도 있고, 사진을 찍는 디바이스에서 실행될 경우, 전술한 하나 이상의 방법들을 수행한다.

컴퓨터-판독가능 프로그램 코드는 컴퓨터 판독가능 명령의 형태로 메모리에 저장될 수도 있다. 이 경우, DSP 와 같은 프로세서는 전술한 하나 이상의 기술을 실행하기 위해 메모리 내에 저장된 명령을 실행할 수도 있다. 몇몇 경우, 이 기술이 노출 시간 및 이득의 곱셈 (multiplication) 과 같은 다양한 하드웨어 성분을 호출하는 DSP 에 의해 실행되어 노출 시간-이득 곱을 생성할 수도 있다. 개시된 노출 시간-이득 곱 (들) 은 하나 이상의 마이크로프로세서, 하나 이상의 주문형 집적 회로 (ASIC), 하나 이상의 필드 프로그래머블 게이트 어레이 (FPGA) 또는 몇몇 다른 하드웨어-소프트웨어 조합으로 구현될 수도 있다. 이들 기술 및 구성은 이하의 청구 범위 내에 있다.

Claims

적어도 하나의 캡쳐된 이미지에서의 광 레벨을 식별하는 수단;

핸드 지터 감소 모드 (hand jitter reduction mode) 의 선택을 검출하는 수단; 및

상기 적어도 하나의 캡쳐된 이미지를 이미지 프로세싱하기 위해 핸드 지터 감소 모드 자동-노출 파라미터들을 동적으로 선택하는 수단을 포함하고,

상기 핸드 지터 감소 모드 자동-노출 파라미터들은, 노멀 모드 자동-노출 파라미터들의 노출 시간-이득 곱 (exposure time-gain product) 에 대응하는 노출 시간-이득 곱을 갖고, 상기 핸드 지터 감소 모드 자동-노출 파라미터들은 상기 노멀 모드 자동-노출 파라미터들의 대응하는 노멀 모드 이득보다 큰 핸드 지터 감소 모드 이득을 포함하는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 1 항에 있어서,

상기 핸드 지터 감소 모드 자동-노출 파라미터들은 이득 및 노출 시간을 포함하는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 1 항에 있어서,

상기 핸드 지터 감소 모드 자동-노출 파라미터들은 프레임 레이트를 더 포함하는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
명령 세트를 저장하는 컴퓨터-판독가능 매체로서,

상기 명령 세트는 하나 이상의 프로세서들에 의해 실행될 때:

적어도 하나의 캡쳐된 이미지에서의 광 레벨을 식별하는 단계;

핸드 지터 감소 모드 (hand jitter reduction mode) 의 선택을 검출하는 단계; 및

상기 적어도 하나의 캡쳐된 이미지를 이미지 프로세싱하기 위해 핸드 지터 감소 모드 자동-노출 파라미터들을 동적으로 선택하는 단계

를 포함하는 방법을 수행하고,

상기 핸드 지터 감소 모드 자동-노출 파라미터들은, 노멀 모드 자동-노출 파라미터들의 노출 시간-이득 곱에 대응하는 노출 시간-이득 곱을 갖고, 상기 핸드 지터 감소 모드 자동-노출 파라미터들은 상기 노멀 모드 자동-노출 파라미터들의 대응하는 노멀 모드 이득보다 큰 핸드 지터 감소 모드 이득을 포함하는, 컴퓨터-판독가능 매체.
제 4 항에 있어서,

상기 핸드 지터 감소 모드 자동-노출 파라미터들은 핸드 지터 감소 모드 이득 및 노출 시간을 포함하는, 컴퓨터-판독가능 매체.
제 4 항에 있어서,

상기 핸드 지터 감소 모드 자동-노출 파라미터들들은 프레임 레이트를 더 포함하는, 컴퓨터-판독가능 매체.
핸드 지터 감소 모드 (hand jitter reduction mode) 를 포함하는 이미지 프로세싱을 수행하는 디바이스로서,

광 레벨을 검출하는 수단; 및

상기 검출된 광 레벨에 응답하여, 상기 광 레벨이 제 1 범위에 있을 때의 단일 프레임 노이즈 감소 및 상기 광 레벨이 제 2 범위에 있을 때의 복수의 프레임 노이즈 감소를 포함하는, 핸드 지터를 감소시키는 수단을 포함하는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 7 항에 있어서,

상기 핸드 지터의 감소는 변경된 자동-노출 파라미터들을 포함하는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 8 항에 있어서,

상기 변경된 자동-노출 파라미터들은 이득, 노출 시간, 및 프레임 레이트인, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 7 항에 있어서,

상기 복수의 프레임 노이즈 감소는 복수의 프레임 등록을 통해서 흐려짐 현상 (blurriness) 을 감소시키는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 7 항에 있어서,

상기 단일 프레임 노이즈 감소는 베이어 필터링 (bayer filtering) 인, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 7 항에 있어서,

상기 검출된 광 레벨이 디지털 사진에서의 흐림 (blur) 을 제거할 때 이용되는 광 레벨의 최소량을 초과할 경우, 상기 핸드 지터 감소 모드에서의 이미지 프로세싱이 발생하는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 11 항에 있어서,

상기 검출된 광 레벨은 자동-노출 인덱스에 매핑되는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 7 항에 있어서,

제 1 프레임 레이트가 최대값에 도달하는 제 1 범위에서, 상기 제 1 프레임 레이트를 낮춰서 제 2 프레임 레이트를 생성하여 노출 시간을 증가시키는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 14 항에 있어서,

상기 증가된 노출 시간에 응답하여 이득이 저하되는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 7 항에 있어서,

상기 제 2 범위는 2 개의 범위인 제 3 범위 및 제 4 범위를 포함하는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 16 항에 있어서,

상기 제 3 범위와 상기 제 4 범위 사이의 제 2 경계는 루마 타겟 (luma target) 을 충족하지 않는 광 레벨에 의해 결정되는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 17 항에 있어서,

상기 제 3 범위와 상기 제 4 범위에 디지털 이득이 적용되는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 7 항에 있어서,

상기 제 1 범위는 BOUNDARY_A 및 BOUNDARY_B 사이에 있는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
제 7 항에 있어서,

상기 제 2 범위는 BOUNDARY_B 밖에 있는, 핸드 지터 감소 모드를 포함하는 이미지 프로세싱을 수행하는 디바이스.
집적 회로로서,

상기 집적 회로에 의해 생성되는 변경된 자동-노출 파라미터들에 응답하여 핸드 지터 감소 모드 (hand jitter reduction mode) 에서 캡쳐된 디지털 이미지들의 핸드 지터를 감소시키기 위해 이미지 센서에 커플링되도록 구성되고,

적어도 하나의 캡쳐된 이미지를 식별하는 수단;

핸드 지터 감소 모드의 선택을 검출하는 수단;

상기 적어도 하나의 캡쳐된 이미지와 관련된 광 레벨을 식별하는 수단;

상기 광 레벨을 노멀 모드에서의 대응 이득 및 노출 시간에 매핑시키는 수단;

상기 대응 이득 및 노출 시간으로부터 제 1 노출 시간-이득 곱을 계산하는 수단; 및

핸드 지터를 감소시키기 위해, 상기 제 1 노출 시간-이득 곱의 계산에 응답하여 변경된 자동-노출 파라미터들을 생성하는 수단을 포함하고,

상기 변경된 자동-노출 파라미터들은 노멀 모드 자동-노출 파라미터들의 대응하는 노멀 모드 이득보다 큰 핸드 지터 감소 모드 이득을 포함하는, 집적 회로.
제 21 항에 있어서,

상기 제 1 노출 시간-이득 곱의 계산에 응답하여 변경된 자동-노출 파라미터들을 생성하는 수단은, 상기 이득 및 노출 시간을 변경하는 것을 포함하는, 집적 회로.
제 22 항에 있어서,

상기 제 1 노출 시간-이득 곱의 계산에 응답하여 변경된 자동-노출 파라미터들을 생성하는 수단은, 제 2 노출 시간-이득 곱의 계산을 더 포함하는, 집적 회로.
제 21 항에 있어서,

상기 집적 회로는 MSM^TM 인, 집적 회로.
변경된 자동-노출 파라미터들을 생성하는 방법으로서,

스냅샷 이후에 적어도 하나의 프레임을 캡쳐하는 단계;

핸드 지터 감소 (hand jitter reduction) 모드로 진입하는 단계;

변경되지 않은 자동-노출 파라미터들과 검출된 광 레벨을 관련시키는 단계;

메모리로부터 노출 시간 및 이득을 검색하는 단계;

상기 검색된 노출 시간 및 이득으로부터 제 1 노출 시간-이득 곱을 계산하는 단계; 및

상기 제 1 노출 시간-이득 곱에 기초하여 변경된 자동-노출 파라미터들을 생성하는 단계를 포함하고,

상기 변경된 자동-노출 파라미터들은 노멀 모드 자동-노출 파라미터들의 대응하는 노멀 모드 이득보다 큰 핸드 지터 감소 모드 이득을 포함하는, 변경된 자동-노출 파라미터 생성 방법.
제 25 항에 있어서,

상기 제 1 노출 시간-이득 곱에 기초하여 변경된 자동-노출 파라미터들을 생성하는 단계는, 상기 검색된 노출 시간과 이득을 승산, 감산, 가산, 또는 제산하는 단계를 포함하는, 변경된 자동-노출 파라미터 생성 방법.
제 25 항에 있어서,

상기 변경된 자동-노출 파라미터들은 이득 및 노출 시간을 포함하는, 변경된 자동-노출 파라미터 생성 방법.
제 27 항에 있어서,

상기 변경된 자동-노출 파라미터들은 프레임 레이트를 더 포함하는, 변경된 자동-노출 파라미터 생성 방법.