KR20060046135A

KR20060046135A - 디지털 이미지의 자동화된 보정을 위한 시스템 및 방법

Info

Publication number: KR20060046135A
Application number: KR1020050042886A
Authority: KR
Inventors: 스티브 제이. 화이트
Original assignee: 마이크로소프트 코포레이션
Priority date: 2004-06-15
Filing date: 2005-05-23
Publication date: 2006-05-17
Also published as: ES2353880T3; US7711186B2; KR101150111B1; EP1607908B1; EP1607908A2; JP4578325B2; EP1607908A3; JP2006005920A; CN100550974C; DE602005024891D1; US20050276507A1; CN1713690A; ATE489690T1

Abstract

디지털 이미지 캡처링 장치에 의해 캡처된 이미지를 보정하는 시스템 및 방법이 제공된다. 본 발명의 방법은 샘플 포인트에 기초하여 원하는 보정 값의 로그 및 그 포인트에 대한 목표 값을 계산하는 단계, 및 입력 픽셀 강도(intensity)에 기초하여 조명(illumination)의 로그에 대한 근사치를 계산하는 단계를 포함한다. 본 발명은 보정 값의 로그에 기초하여 임의의 목표 픽셀 강도, 및 조명의 로그의 근사치를 계산하는 단계를 더 포함한다. 이미지 보정 툴은 이미지를 목표 픽셀 강도 값에 대응하도록 보정한다. 본 기술을 사용하여 임의의 이미지의 이득을 보정할 수 있는데, 예를 들어 노출 또는 컬러 밸런스 결핍을 보정할 수 있다. 본 기술은 이미지 캡처링 장치에 상관없이 탁월한 결과를 제공한다.

디지털 이미지 캡처링 장치, 로그, 조명, 노출, 컬러 밸런스,

Description

디지털 이미지의 자동화된 보정을 위한 시스템 및 방법{SYSTEM AND METHOD FOR AUTOMATED CORRECTION OF DIGITAL IMAGES}

도 1은 본 발명의 실시예에 따른 시스템의 개요를 예시하는 블럭도.

도 2는 본 발명의 실시예에 따른 이미지 보정 모듈의 컴포넌트들을 예시하는 블럭도.

도 3은 본 발명의 실시예가 구현될 수 있는 컴퓨터화된 환경을 예시하는 블럭도.

도 4는 본 발명의 실시예에 따른 이득 제어 매핑(gain control mapping)을 예시하는 블럭도.

도 5는 본 발명의 실시예에 따라 이미지를 보정하기 위한 프로세스를 예시하는 순서도.

도 6은 노출된 상태에 있는 이미지를 보정하기 위한 예시적인 매핑을 도시한 스크린 샷을 예시하는 도면.

도 7은 종단점 화이트 레벨 보정 커브(end-point white level correction curve)의 예를 도시하는 스크린 샷.

도 8은 노출된 상태에 있는 이미지를 도시하는 도면.

도 9는 도 6의 커브를 사용하여 도 8의 노출된 상태에 있는 이미지의 매핑을 도시하는 도면.

도 10은 종단점을 사용하여 이루어진 노출 조정을 도시하는 도면.

도 11은 잘못된 화이트 밸런스를 도시하는 도면.

도 12은 이득-기반 컬러 밸런스(gain-based color balance)를 도시하는 도면.

도 13은 측정된 카메라 특성을 사용하여 이미지 보정을 도시하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

10: 이미지 보정 모듈

20: 보정 값 계산 컴포넌트

40: 조명 로드 계산 컴포넌트

60: 목표 픽셀 로그 강도 계산 컴포넌트

200: 디지털 이미징 장치

본 발명은 디지털 이미지의 보정에 관한 것이며, 특히, 디지털 사진 분야의 노출 보정 및 컬러 밸런스 보정에 관한 것이다.

노출 또는 컬러 밸런스가 보정될 필요가 있을 때와 같이, 이미지의 광 레벨을 조정하는 것이 요구되는 때가 많이 있다. 종래 사진 현상 기술에서, 보정은 암실에서 확대기의 필터 양을 조정하거나 노출 시간을 증가 또는 감소시킴으로써 이 루어진다. 양 기술 모두는 선형 광 조정을 수행한다. 광 또는 시간이 2배로 될 때마다, 각각의 포인트에서의 밀도에 상관 없이 이미지의 모든 포인트의 노출도 2배로 된다.

상기 보정 기술의 필름 또는 프린트의 응답은 선형이 아니다. 대신, 그 응답은 오히려 복잡한 'S' 모양 특성 커브를 갖는다. 가장 상세한 이미지 영역 또는 총 밀도 범위의 중앙부에서, 응답은 이미지 강도의 대수(logarithm)에 비례한다. 노출을 2배로 할 때마다, 강도가 일정하게 단계적으로 증가한다. 따라서, 각각의 그레이 패치(gray patch)가 자신의 이웃의 강도의 2배를 나타내는 단계 차트(stemp chart)에서, 각각의 단계 변화는 그것의 이웃에 대한 동일한 강도 증가를 나타낸다.

디지털 카메라에 대한 보정 특성은 또한 비선형 응답을 갖는다. 그러나, 디지털 카메라는 전형적으로 센서 동적 범위에 있어서, 특성 커브가 종래 필름의 'S'-모양 (로그-선형) 커브와 다르게 하는 물리적 제한을 갖는다. 이 비선형 응답은, 디지털 카메라가 출력으로서 원시 이미지 프로세서로부터 또는 이미지 파일(예를 들어, jpeg 또는 tiff)로 생성한 최종 이미지로 엔코딩된다. 원시 데이터가 센서로부터의 직접적인 출력을 반영하므로 본질적으로 선형이지만, 전형적인 카메라 또는 원시 프로세싱 소프트웨어는 이 출력을 수정하여 뷰어 및 편집기에서 사용되는 컬러-공간 내의 비선형 응답을 생성한다. 불행하게도, 편집기 및 뷰어가 제공하는 툴들은 비선형 결과를 고려하지 않은 것이기 때문에, 대부분의 경우에 질이 좋지 않은 컬러 및 노출 조정을 생성한다. 응답 커브 비선형성의 단순 '감마' 모 델은 질이 좋지 않은 근사치를 생성하며, 컬러 또는 노출에 대한 정확하고 시각적으로 수용가능한 조정을 행하는 데 부적합하다.

게다가, 어도비 시스템사의 어도비 포토샵 소프트웨어에서 사용되는 것과 같은 디지털 카메라에 대한 현대의 이미지 보정 기술은 특정 카메라 특징에 기초한 것이기 때문에 모든 디지털 카메라에 범용적으로 사용될 수 없다. 따라서 임의의 디지털 카메라가 생성한 이미지를 보정할 수 있는 기술이 필요하다.

노출에 관련하여, 도 8은 노출된 상태에 있는 이미지에 대한 테스트 차트를 나타낸다. 도 8의 테스트 차트는 하나 또는 2개의 f-스톱에 의해 노출된 상태에 있는 이미지를 나타낸다. f-스톱의 수는 렌즈 또는 조리개의 개방에 대한 상대적인 크기를 나타낸다. 렌즈의 촛점 길이 f를 그것의 유효 구경으로 나눔으로써 f-스톱의 수를 얻는다. 통상적인 f-스톱의 수열에서, 각각의 숫자는 바로 앞의 것의 절반의 광을 통과시키는 조리개를 나타낸다. 도 8에 도시된 테스트 차트는, 예를 들어 f/5.6에서 2 f-스톱만큼 부족하게 노출된 것일 수 있다. 도 9의 테스트 차트는 f/2.8의 노출에서 적절하게 노출된 이미지를 도시한다. 도 8로부터 도 9로의 그레이 패치 강도의 변화는 2개의 테스트 차트를 비교함으로써 볼 수 있다.

그레이 스케일 패치의 관련 픽셀 강도가 어도비 포토샵 커브 툴과 같은 툴을 사용하여 플로팅(plot)되면, 그 관계는 도 6의 스크린 샷(600)에 도시된 바와 같은 비선형 관계로 나타난다. 플로팅 프로세스는 플로팅된 각각의 포인트들을 측정하는 것을 요구한다. 스크린 샷(600)은 x축(608) 상의 노출 부족 상태에 있는 값 및 y축(606) 상의 적절하게 노출된 값을 도시하는 비선형 플롯(604)을 나타낸다. 도 시된 커브는 룩업 테이블이며, 각각의 RGB 채널에 대해 생성될 수 있으므로, 전체 이미지는 올바른 룩업 값으로 변형될 수 있다. 포토샵 커브 툴은 4x(2 스톱) 노출 부족에 대한 응답 보정을 도시한다. 도 8의 노출 부족 상태에 있는 이미지의 그레이 값은 도 9에 도시된 올바르게 노출된 값으로 매핑될 것이다. 상술된 바와 같이, 현재 존재하는 툴을 사용한다면, 도 6에 도시된 관계는 상세하고 힘든 측정을 통해서만 이루어질 수 있다.

어도비 포토샵 및 기타 편집기들에서 노출 부족을 보정하기 위한 하나의 기존 접근법은 종단점 화이트 레벨 보정이다. 도 10은 이 기술에 의해 생성된 테스트 차트를 예시한다. 이 프로세스는 도 6의 실제 노출 변화들 간에 측정된 값과 매우 다른 매핑을 생성한다. 대신, 관계는 도 7에 도시된 것과 같이 매우 선형적이다. 도 7의 스크린 샷(700)은 x축(708)을 따라서 노출 부족 상태에 있는 값을 포함하고 y축(706) 상에는 보정된 값을 포함하는 플롯(704)을 도시한다. 도 10에 예시된 바와 같이, 종단점 화이트 레벨 보정의 아티펙트(artifact)는 시도된 보정에 대한 부작용으로서 거칠게 포화되고 높은 컨트라스트를 갖는 생성물을 포함한다.

노출 보정 이외에, 이미지 보정이 종종 구현되는 또다른 영역은 컬러 밸런스이다. 디지털 카메라에서 최적의 컬러 밸런스를 달성하기 위해 빈번하게 사용되는 기술은 화이트 밸런스 기술이다. 화이트 밸런싱을 사용하여, 중성 패치(neutral patch), 또는 구름이나 흰색 셔츠와 같은 중성 패치에 대한 소정의 근사가 이미지에서 선택된다. 그 다음, 중간색이 중성으로 나타나도록 하기 위해, 개별적인 채 널 컬러 노출(RGB 또는 CMY 내의 채널 이득)이 조정된다.

이 기술은 몇가지 결함을 갖는다. 예를 들어, 단일 화이트 포인트는 모든 중간매체 컬러에 대한 최적의 보정을 제공하지 않을 것이다. 도 11은 일광 설정을 갖는 텅스텐 광을 사용해 얻어진 잘못된 화이트 밸런스를 예시한다. 도 12는 한번의 그레이 포인트 보정(하위 열의 좌측으로부터 세번째)을 행하여, 컬러 캐스트를 보정하기 위해 이미지 내의 각각의 컬러 채널에 대한 이득을 조정한 결과를 예시한다. 가장 밝은 영역이 블루 캐스트(blue cast)를 갖는 반면(좌측 하단의 화이트 패치 참고), 보다 어두운 영역들은 적색으로 시프트된다.

측정된 카메라 특징을 통해 얻어진 개별적인 채널 노출 커브를 사용함으로써, 도 13에 도시된 바와 같이, 도 6의 커브와 유사한 커브 및 그에 의한 보다 나은 결과가 얻어진다. 그러나, 상술된 바와 같이, 이 프로세스는 힘든 것이며 복수의 개별적인 측정을 요구한다.

도 9 및 13에 도시된 보정된 이미지는 어도비 포토샵 편집 프로그램을 사용하여 손으로 보정된 것이다. 이 기술은 알려진 그레이-값이 많을때 성공적이다. 그러나, 이 기술이 성공적일지라도, 이것은 수고로운 것이며 참조 가능한 중성 패치의 결핍으로 인해 종종 불가능하다.

이 문제점을 해결하는 하나의 방식은 2배의 광이 2배의 강도를 의미하는 선형 공간 또는 광 강도를 각각 2배로 하는 것이 픽셀 값의 일정한 증가를 발생시키는 대수적 공간 내의 데이터를 이용하여 작업하는 것이다. Nikon Capture와 같은 독립적인 하드웨어 밴더(IHV) 소유 원시 편집기, Phase One Raw 제품, 및 Adobe RAW와 같은 원시 파일 프로그램은 단순한 이득을 조장하기 위해 선형 공간 내의 조정을 허용한다. 그러나, 일반적으로, 대부분의 사진-편집기가 이미지를 오픈할 수 있게 되기 전에, 그 이미지는 이미 디지털 카메라에 의해 비선형 컬러 공간으로 매핑되기 때문에, 이미지가 카메라에 의해 sRGB와 같은 관측가능 컬러 공간으로 변환되고 나면, 이 기술은 단순히 실행 불가능하다.

실제로, 카메라 비선형성의 모델에 기초한 도 6에 도시된 것과 유사한 매핑을 획득하기 위한 기술이 필요하다. 게다가, 모든 디지털 카메라에 적용되고 카메라의 동적 범위 전반에서 정확한 해결법이 필요하다.

본 발명의 실시예는 디지털 이미지 캡처링 장치에 의해 캡처된 이미지를 보정하는 방법에 관한 것이다. 본 방법은 샘플 포인트에 기초하여 원하는 보정 값의 로그를 계산하는 단계, 및 입력 픽셀 강도에 기초하여 조명의 로그의 근사치를 계산하는 단계를 포함한다. 본 발명은 보정 값의 로그 및 조명의 로그의 근사치에 기초하여 목표 픽셀 강도 값을 계산하는 단계를 추가적으로 포함한다. 게다가, 본 발명은 이미지를 목표 픽셀 강도 값에 대응하도록 보정하기 위한 이미지 보정 툴들을 제공하는 단계를 포함한다.

본 발명의 다른 양상에서, 디지털 이미지 캡처링 장치에 의해 캡처된 이미지를 보정하는 방법이 제공된다. 이러한 방법은 임의적인 디지털 이미지 캡처링 장치의 특성들을 나타내는 상수들을 통합하는 단계, 및 통합된 상수들 및 입력 픽셀 강도 값에 기초하여 조명의 로그의 근사치를 계산하는 단계를 포함한다. 본 발명 은 조명의 로그의 근사치, 원하는 보정 값, 및 통합된 상수를 사용하여 목표 픽셀 강도를 결정하는 단계를 추가적으로 포함한다. 임의의 이미지 캡처링 장치에 대한 상수는 동일한 목표 픽셀 강도를 생성한다. 본 발명은 이미지 보정 툴들을 제공하여 이미지를 목표 픽셀 강도로 조정하는 단계를 포함한다.

다른 추가적인 양상에서, 이미지를 보정하기 위한 이미지 보정 시스템이 제공된다. 이 시스템은 샘플 입력 포인트에 기초하여 원하는 보정 값을 계산하기 위한 보정 값 계산 컴포넌트 및 픽셀 강도 및 선택된 상수에 기초하여 조명의 로그의 근사치를 결정하기 위한 조명 로그 계산 컴포넌트를 포함한다. 이 시스템은 보정 값 계산, 조명의 로그의 근사치 계산, 및 선택된 상수에 기초하여 이미지를 보정하기 위해 목표 픽셀 강도를 결정하는 목표 픽셀 로그 강도 계산 컴포넌트도 포함한다. 이러한 계산의 속성은 이미지를 캡처링하는 것을 담당하는 디지털 이미지 캡처링 장치의 상수에 상관없이 동일한 목표 픽셀 강도 값을 생성한다.

본 발명은 첨부된 도면을 참조하여 이하에서 상세하게 설명한다.

Ⅰ. 시스템 개요

본 발명의 실시예는 디지털 이미지를 이미지 보정하여 디지털 카메라의 표시의 정확성을 증가시키기 위한 방법 및 시스템을 포함한다. 이미지 보정의 유형은 노출 보정 및 화이트 밸런스 보정을 포함할 수 있다. 비선형 데이터 형태인 이미지를 보정할 수 있는 이미지 보정 모듈(10)이 제공된다. 이미지 보정 모듈(10)은 컴퓨팅 시스템 또는 디지털 카메라에 통합될 수 있다.

도 1은 이미지 보정 모듈(10)이 컴퓨팅 시스템(100)에 통합된 실시예를 도시한다. 컴퓨팅 시스템(100)은 네트워크(300)를 통해 디지털 카메라와 같은 디지털 이미징 장치(200)와 통신할 수 있다. 그러나, 디지털 이미징 장치(200)가 컴퓨팅 시스템(100)에 직접적으로 연결될 수 있기 때문에, 네트워크의 존재는 선택적이다. 그외에, 컴퓨팅 시스템(100) 및 디지털 이미징 장치(200)는 전혀 연결되지 않을 수 있다. 그보다, 디지털 이미징 장치(200)로부터 컴퓨팅 시스템(100)으로 이미지를 전송하기 위해 플래시 RAM과 같은 이미지 저장 장치가 사용될 수 있다. 게다가, 상술된 바와 같이, 이미지 보정 모듈(10)은 디지털 이미징 장치(200)에 직접적으로 통합될 수 있다.

이미지 보정 모듈(10)은 임의적인 입출력 캘리브레이션 포인트를 처리하는 알고리즘에 기초하여 동작한다. 예를 들어, 이미지 보정 모듈(10)은 컬러 온도 이동 또는 화이트 포인트 샘플을 취하고 전체 이미지에 대한 보정 커브를 목표로 하고 그것을 생성할 수 있다. 이미지 보정 모듈(10)의 동작은 본 발명의 방법에 관련하여 다음에 더 설명될 것이다.

도 2는 본 발명의 실시예에 따른 이미지 보정 모듈(10)의 추가적인 세부 사항을 예시한다. 이미지 보정 모듈(10)은 보정 값 계산 컴포넌트(20), 조명 로그 계산 컴포넌트(40), 및 목표 픽셀 로그 강도 계산 컴포넌트(60)를 포함할 수 있다. 각각의 이러한 컴포넌트들은 본 발명의 방법을 참고하여 더 설명될 것이다.

Ⅱ. 예시적인 동작 환경

도 3은 이미지 보정 모듈(10)이 구현될 수 있는 적절한 컴퓨팅 시스템 환경 (100)의 예를 나타낸다. 컴퓨팅 시스템 환경(100)은 단지 적절한 컴퓨팅 환경의 예일 뿐이며, 본 발명의 사용 또는 기능성의 영역에 어떤 제한도 제시하지 않는다. 컴퓨팅 환경(100)이 예시적인 컴퓨팅 환경(100)에 예시된 컴포넌트 중 임의의 하나 또는 그들의 조합에 관련된 임의의 의존성 또는 요청을 갖는다고 해석되어서는 안된다.

본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어들의 일반적인 문맥으로 설명된다. 일반적으로 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 게다가, 본 발명이 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램가능 가전제품, 미니컴퓨터, 메인프레임 등을 포함하는 기타 컴퓨터 시스템 구성에서 구현될 수 있음을 당업자들은 인식할 것이다. 본 발명은 태스크가 통신 네트워크를 통해 링크되는 원격 프로세싱 장치에 의해 수행되는 분산 컴퓨팅 환경에서도 구현될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 둘 다에 위치할 수 있다.

도 3을 참조하면, 본 발명을 구현하기 위한 예시적인 시스템(100)은 프로세싱 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트들을 프로세싱 유닛(120)에 연결하는 시스템 버스(121)를 포함하는 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다.

컴퓨터(110)는 전형적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 예를 들어, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이에 한정된 것은 아니다. 시스템 메모리(130)는 ROM(131) 및 RAM(132)과 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 시동중과 같은 때에 컴퓨터(110) 내의 구성요소들 간에 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(133; BIOS)은 전형적으로 ROM(131)에 저장된다. RAM(132)은 전형적으로 프로세싱 유닛(120)에 즉시 액세스될 수 있고/있거나 프로세싱 유닛(120)에 의해 현재 실행중인 프로그램 모듈 및/또는 데이터를 포함한다. 예를 들어, 도 3는 오퍼레이팅 시스템(134), 어플리케이션 프로그램(135), 기타 프로그램 모듈(136) 및 프로그램 데이터(137)를 예시하지만, 이에 한정된 것은 아니다.

컴퓨터(110)는 기타 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체도 포함할 수 있다. 단지 예로서, 도 3은 비분리형 비휘발성 자기 매체로부터 판독하거나 그 자기 매체에 기록하는 하드 디스크 드라이브(141), 분리형 비휘발성 자기 디스크(152)로부터 판독하거나 그 자기 디스크에 기록하는 자기 디스크 드라이브(151), 및 CD-ROM 또는 기타 광학 매체 등의 분리형 비휘발성 광학 디스크(156)로부터 판독하거나 그 광학 디스크에 기록하는 광학 디스크 드라이브(155)를 예시한다. 예시적인 동작 환경에서 사용될 수 있는 기타 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고체 RAM, 고체 ROM 등을 포함하지만, 이에 한정된 것은 아니다. 하드 디스크 드라이브(141)는 전형적으로 인터페이스(140)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 연결되고, 자기 디스크 드라이브(151) 및 광학 디스크 드라이브(155)는 전형적으로 인터페이스(150)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 연결된다.

상술되고 도 3에 예시된 드라이브 및 그 관련 컴퓨터 저장 매체는 컴퓨터(110)에 대한 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터를 저장한다. 도 3에서, 예를 들어, 하드 디스크 드라이브(141)는 오퍼레이팅 시스템(144), 어플리케이션 프로그램(145), 기타 프로그램 모듈(146), 및 프로그램 데이터(147)를 저장하는 것으로 예시된다. 이러한 컴포넌트들은 오퍼레이팅 시스템(134), 어플리케이션 프로그램(135), 기타 프로그램 모듈(136) 및 프로그램 데이터(137)와 동일할 수도 있고 다를 수도 있음을 명심해야 한다. 오퍼레이팅 시스템(144), 어플리케이션 프로그램(145), 기타 프로그램 모듈(146), 및 프로그램 데이터(147)는 최소한 다른 복사본임을 나타내기 위하여 다른 참조번호를 부여하였다. 사용자는 마우스, 트랙볼 또는 터치 패드라 통칭되는 포인팅 장치(161) 및 키보드(162)와 같은 입력 장치를 통해 컴퓨터(110) 내로 커맨드 및 정보를 입력할 수 있다. 기타 입력 장치(도시되지 않음)들은 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 이들 및 다른 입력 장치는 시스템 버스에 연결된 사용자 입력 인터페이스(160)를 통해 종종 프로세싱 유닛(120)에 연결되지만, 병렬 포트, 게임 포트 또는 유니버설 시리얼 버스(USB)와 같은 기타 인터페이스 및 버스 구조에 의해 연결될 수도 있다. 모니터(191) 또는 다른 유형의 디스플레이 장치도 비디오 인터페이스(190)와 같은 인터페이스를 통해 시스템 버스(121) 에 접속된다. 모니터 외에도, 컴퓨터는 출력 주변 인터페이스(195)를 통해 연결될 수 있는 스피커(197) 및 프린터(196) 등의 기타 주변 출력 장치도 포함할 수 있다.

본 발명의 컴퓨터(110)는 원격 컴퓨터(180)와 같은 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크 환경에서 동작할 것이다. 원격 컴퓨터(180)는 퍼스널 컴퓨터일 수 있으며, 비록 도 3에는 메모리 저장 장치(181)만이 예시되어 있지만, 전형적으로 컴퓨터(110)에 관련하여 상술한 구성요소 중 다수 또는 모두를 포함할 수 있다. 도 3에 예시된 논리적 연결은 LAN(171) 및 WAN(573)을 포함하지만, 기타 네트워크도 포함할 수 있다.

LAN 네트워크 환경에서 사용될 때, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 연결된다. WAN 네트워크 환경에서 사용될 때, 컴퓨터(110)는 전형적으로 인터넷과 같은 WAN(173)에 통신을 구축하기 위한 모뎀(172) 또는 기타 수단들을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 기타 적절한 메카니즘을 통해 시스템 버스(121)에 연결될 수 있다. 네트워크 환경에서, 컴퓨터(110)에 관련하여 나타낸 프로그램 모듈 또는 그 일부는 원격 메모리 저장 장치에 저장될 수 있다. 예를 들어, 도 3는 메모리 장치(181)에 상주하는 원격 어플리케이션 프로그램(185)을 예시하지만, 이에 한정된 것은 아니다. 도시된 네트워크 연결은 예시적인 것이며, 컴퓨터들 간의 통신 링크를 구축하는 다른 수단이 사용될 수 있음이 인식될 것이다.

컴퓨터(110)의 많은 기타 내부 컴포넌트들이 도시되지는 않았지만, 당업자들은 이러한 컴포넌트들 및 상호 연결들이 잘 알려져 있음을 인식할 것이다. 따라 서, 컴퓨터(110)의 내부 구성에 관한 추가적인 세부사항들은 본 발명에 관련해 설명될 필요가 없다.

Ⅲ. 본 발명의 시스템 및 방법

상술된 바와 같이, 도 1 및 2는 디지털 이미지를 보정하기 위한 이미지 보정 모듈(10)을 예시한다. 이미지 보정 모듈(10)은 노출 보정을 위해 전체적인 이득을 보정하고, 컬러 화이트 포인트 보정을 위해 개별적인 채널 이득을 보정할 수 있다. 이미지 보정 모듈(10)은 선형으로부터 비선형 공간으로의 변형 및 반대로의 역변형을 고려함으로써 이러한 보정을 행한다.

상술된 바와 같이, 필름은 커브의 저노출 '풋(foot)'에서의 선형 응답 특성 및 중앙 응답 영역에서의 근사적인 대수 응답 특성을 갖는다. 디지털 카메라들은 매우 유사한 응답 특성을 갖는다. 수많은 디지털 카메라들에 대한 테스트는, D가 픽셀 강도이고 LogI가 조명(illumination)의 로그인 경우에 응답이 2차 방정식을 통해 정확하게 모델링될 수 있음을 보여준다.

심볼 a, b, 및 c는 각각의 디지털 카메라에 전형적으로 특정한 상수를 나타낸다. 수학식1의 2차 로그 방정식 관계는 대부분의 센서 범위에 대해서 필름 특징과 매우 유사한 형태를 갖는다. 관계는 강도가 최대치에 접근할 때에만 상당히 빗나간다. 이 영역에서, 필름 특성 커브는 차츰 줄어든다. 반대로, 디지털 센서의 전이는 주 로 보다 가파르게 된다. 보다 가파른 응답 특성은, 전형적으로 디지털 카메라의 성질이 밝은 영역의 최소한의 세부사항을 캡처링하게 한다. 따라서, 본 기술이 필름 특성을 근사하긴 하지만, 복제가 완전히 동일하지는 않다.

수학식(1)의 LogI는 2차 방정식 루트 해결법을 사용하여 계산할 수 있다:

수학식2는 이미지 보정 모듈(10)의 조명 로그 계산 컴포넌트(40)가 LogI에 대한 근사치를 계산하는 데에 사용될 수 있다. 따라서, 상기 수학식에서 임의적인 카메라 특성 계수 a, b 및 c가 주어지면, 이미지 보정 모듈(10)은 목표 픽셀 로그 강도 계산 컴포넌트(60)를 실행하여, D'로 표시된 목표 픽셀 값이 입력 픽셀 값 D에 대해 플로팅된 목표 커브를 계산할 수 있다. 모든 가능한 D 값에 대해서 커브가 생성될 수 있다. 전형적으로 D 값은 0과 255 사이의 범위를 가질 수 있다. 그외의 값도 사용될 수 있다.

도 4는 각각의 샘플 포인트 D에 대한 LogI 도메인으로의 매핑을 통한 이득 제어의 실시예를 나타낸다. 예비 단계로서, 보정 값 LogM이 계산된다. 시스템은 샘플 포인트를 취하고, 참조번호(240)에서 수학식(2)를 사용하여 D를 LogI 변형시킨다. 참조번호(210)에서 미리 계산된 보정량 LogM을 LogI에 가산시킨다. 참조번호(220)에서 수학식1을 사용하여 LogI를 D 변형시킨다. 이 기술을 통해, 참조 번호(230)에 나타난 바와 같은 매핑이 이루어진다. 복수의 입력 샘플 포인트들에 대 하여 이 프로세스가 반복될 수 있다.

각각의 카메라는 일반적으로 매우 다른 특성 계수 a, b 및 c를 갖고, 가장 근사한 응답 커브를 구한다. 그러나, 상술된 계산 컴포넌트는 계수에 독립적이다. 계수 a, b 및 c에 대한 임의의 영이 아닌 선택은 정확히 동일한 결과를 생성한다. 시스템은 Nikon D100 값과 같은 임의적인 카메라를 위한 값에 대해 구현될 수 있으며, 모든 카메라를 위한 올바른 커브를 얻을 수 있다. 시스템은 a, b 및 c에 대한 임의적인 (영이 아닌) 설정을 사용하여 정확하게 동일한 커브 값을 얻을 수 있다.

도 5는 본 발명의 일 실시예에 따라 이미지를 보정하기 위한 프로세스를 나타내는 순서도이다. 단계 A에서, 이미지 보정 모듈(10)은 원하는 보정 양에 대한 로그 LogM을 계산한다(기수가 10인 로그 계산에서 이득 M=10이면, LogM=1). 로그 계산에 사용된 기수가 임의적인 값이므로, 임의의 기수가 사용될 수 있다. 보정 값 LogM을 얻기 위한 방법은 단일 샘플 입출력 쌍을 갖고 이미지 상의 화이트 포인트 샘플 또는 레벨 설정 제어의 화이트 포인트 제한과 같은 이득을 계산하는 것이다. 수학식(3)을 사용하여 LogM 이득 계산이 이루어질 수 있다:

단계 B에서, 조명 로그 계산 컴포넌트(40)는 수학식(2)을 사용해 임의적인 픽셀 강도 입력(D)에 기초하여 로그 강도(LogI)에 대한 근사치를 계산한다.

단계 C에서, 시스템은 LogM을 LogI에 가산한다. 단계 D에서, 목표 픽셀 로 그 강도 계산 컴포넌트(60)는 상기 수학식(1)로부터 목표 D'(D에 대해 보정된 매핑)를 계산한다. 상기 수학식(1)의 일반적인 형태는 이 단계를 수행하기 위해 다음과 같이 다시 작성될 수 있다.

단계 E에서, 시스템은 사용가능한 새로운 후보 픽셀 값이 있는지를 결정하고, 각각의 사용가능한 후보 픽셀 값에 대해 단계 B로 리턴하여 단계 B, C 및 D를 반복한다.

상술된 기술을 사용하여, 커브마다의 단일 캘리브레이션 포인트에 기초하여 캘리브레이션을 계산할 수 있다. 이어서, 각각의 RGB 채널에 대한 룩업 테이블 또는 커브가 생성될 수 있다. 따라서, 전체 이미지가 보정 픽셀 값으로 변형될 수 있다.

LogI 공간으로의 변환 프로세스 및 그 역은 대부분의 모든 디지털 카메라에 대해서 양호한 근사치를 제공한다. 카메라 마다 계수가 다르긴 하지만, 수학식1을 통해 얻어진 보정들은 이러한 계수에 따라 완벽히 불변이다. 카메라 특성 커브의 연산적으로 단순한 모델은 로그 강도 공간 내의 보정의 연산을 허용하고, 비선형 이미지 공간 내의 정확한 매핑을 얻는다. 이 연산의 아티펙트는 결과가 카메라 모델 매개변수의 변수에 따라 불변하다는 것이다. 따라서, 광범위한 카메라에 대해서 변환이 행해진다.

요약해서, 원시 (선형) 공간 또는 로그 강도 공간에서 동작하는 것은 양호한 컬러 및 노출 보정을 얻기 위해 중요하지만, 센서 특성에 대한 정확한 모델을 요구하기 때문에 제조자의 명세에 강하게 관련된다. sRGB 또는 기타 비선형 컬러 공간에서 동작하는 것이 편리하고 광범위하게 적용되지만, 이러한 공간들은 정확한 컬러 또는 노출 보정에는 적합하지 않다. 따라서, 비선형 공간으로부터 로그 농도 공간으로 역으로 매핑하고, 보정을 적용한 후, 결과를 역으로 매핑하는 여기에 제안된 프로세스는 두 모델의 최고의 정확성 및 일반성 특성을 획득하고 그들의 결점을 보완하는 로버스트하고 정확하고 매우 일반적인 방식으로 상기 문제점을 해결한다.

본 발명의 특정한 실시예들이 예시되고 상세하게 설명되었지만, 본 발명의 취지 및 영역에 벗어나지 않는 본 발명에 대한 다양한 변형 및 수정이 만들어질 수 있음을 이해해야 한다. 상술된 실시예들은 제한적이기 보다는 예시적으로 의도된 것이다. 본 발명의 영역을 벗어나지 않고 본 발명에 속하는 대안적인 실시예들이 당업자들에게 명백해질 것이다.

상술에 의해, 본 발명이 시스템 및 방법에 대한 명백하고 고유한 다른 이익들을 동반하는 상술된 결과 및 목적들 모두를 획득하기 위해 수용될 수 있음을 알 수 있다. 유틸리티의 특정한 특징 및 하부 조합이 존재하며, 다른 특징 및 하부 조합을 참조하지 않고 구현될 수 있음을 이해할 것이다. 이는 첨부된 청구항의 영역 내에 계획된다.

본 발명은 디지털 사진 분야의 노출 보정 및 컬러 밸런스 보정을 제공한다.

Claims

디지털 이미지 캡처링 장치에 의해 캡처된 이미지를 보정하기 위한 방법으로서,

샘플 포인트에 기초하여 원하는 보정 값의 로그를 계산하는 단계;

입력 픽셀 강도(intensity)에 기초하여 조명(illumination)의 로그의 근사치를 계산하는 단계;

상기 보정 값의 로그, 및 상기 조명의 로그의 근사치에 기초하여 목표 픽셀 강도 값를 계산하는 단계; 및

상기 이미지를 상기 목표 픽셀 강도 값에 대응하도록 보정하기 위한 이미지 보정 툴들을 제공하는 단계

를 포함하는 방법.
제1항에 있어서, 상기 원하는 보정 값의 로그를 계산하는 단계는, 방정식 LogM = LogI(Dout) - LogI(Din)에 따라서 LogM을 계산하는 단계를 포함하며, LogI(Dout) 및 LogI(Din)가 샘플 값에 기초하는 방법.
제1항에 있어서, 상기 조명의 로그의 근사치를 계산하는 단계는, D가 픽셀 강도이고, a, b 및 c가 이미지 캡처링 장치로부터의 임의적인 상수일 때, 방정식
에 따라서 LogI를 계산하는 단계를 포함하는 방법.
제3항에 있어서, 목표 픽셀 강도 값을 계산하는 단계는 D'가 상기 목표 픽셀 강도 값일 때, 방정식 D'=a(LogI)² + bLogI + c를 실시하는 단계를 포함하는 방법.
제4항에 있어서, 임의의 영(zero)이 아닌 a, b 및 c의 값을 위해 동일한 목표 픽셀 강도 값을 계산하는 단계를 더 포함하는 방법.
제1항의 계산 단계들을 수행하는 컴퓨터 실행가능 명령어들을 저장하는 컴퓨터 판독가능 매체.
디지털 이미지 캡처링 장치에 의해 캡처된 이미지를 보정하기 위한 방법으로서,

임의적인 디지털 이미지 캡처링 장치의 특성들을 나타내는 상수들을 통합하는 단계;

상기 통합된 상수들 및 입력 픽셀 강도 값에 기초하여 조명의 로그의 근사치를 계산하는 단계;

상기 조명의 로그의 근사치, 원하는 보정 값, 및 상기 통합된 상수들을 사용하여 목표 픽셀 강도를 결정하는 단계 - 임의의 이미지 캡처링 장치에 대한 상수들 은 동일한 목표 픽셀 강도를 생성함 -; 및

이미지 보정 툴들을 제공하여 상기 이미지를 상기 목표 픽셀 강도로 조정하는 단계

를 포함하는 방법.
제7항에 있어서, 임의의 영이 아닌 통합된 상수들을 위해 동일한 목표 픽셀 강도를 결정하는 단계를 더 포함하는 방법.
제7항에 있어서, 적어도 하나의 선택된 샘플 포인트에 기초하여 원하는 보정 값의 로그를 계산하는 단계를 더 포함하는 방법.
제9항에 있어서, 상기 원하는 보정 값의 로그를 계산하는 단계는, 방정식 LogM = LogI(Dout) - LogI(Din)에 따라서 LogM을 계산하는 단계를 포함하며, LogI(Dout) 및 LogI(Din)이 샘플 값에 기초하는 방법.
제7항에 있어서, 상기 조명의 로그의 근사치를 계산하는 단계는, D가 픽셀 강도이고, a, b 및 c가 이미지 캡처링 장치에 특정한 상수일 때, 방정식
에 따라서 LogI를 계산하는 단계를 포함하는 방법.
제7항에 있어서, 목표 픽셀 강도 값을 계산하는 단계는 D'가 상기 목표 픽셀 강도 값일 때, 방정식 D'=a(LogI)² + bLogI + c를 실시하는 단계를 포함하는 방법.
제7항의 방법을 수행하는 컴퓨터 실행가능 명령어들을 저장하는 컴퓨터 판독가능 매체.
이미지를 보정하기 위한 이미지 보정 시스템으로서,

샘플 입력 포인트에 기초하여 원하는 보정 값을 계산하기 위한 보정 값 계산 컴포넌트;

픽셀 강도 및 선택된 상수에 기초하여 조명의 로그의 근사치를 결정하기 위한 조명 로그 계산 컴포넌트; 및

상기 보정 값 계산, 상기 조명 로그 근사치 계산, 및 상기 선택된 상수에 기초하여 상기 이미지를 보정하기 위해 목표 픽셀 강도를 결정하는 목표 픽셀 로그 강도 계산 컴포넌트

를 포함하는 시스템.
제14항에 있어서, 상기 보정 값 계산 컴포넌트들은 방정식 LogM = LogI(Dout) - LogI(Din)에 따라서 상기 원하는 보정 값의 로그인 LogM을 계산하며, LogI(Dout) 및 LogI(Din)이 샘플 값에 기초하는 시스템.
제14항에 있어서, 상기 조명 로그 계산 컴포넌트는 D가 픽셀 강도이고, a, b 및 c가 이미지 캡처링 장치에 특정한 상수일 때, 방정식
에 따라 조명의 로그인 LogI를 계산하는 시스템.
제16항에 있어서, 상기 목표 픽셀 로그 강도 계산 컴포넌트는 D'가 상기 목표 픽셀 강도 값일 때, 방정식 D'=a(LogI)² + bLogI + c를 사용하여 목표 픽셀 강도 값을 계산하는 시스템.
제17항에 있어서, 상기 목표 픽셀 로그 강도 계산 컴포넌트는 임의의 영이 아닌 a, b 및 c의 값을 위한 목표 픽셀 강도에 대한 동일한 값을 계산하는 시스템.