KR100850729B1 - 데이터 해상도를 향상시키는 방법 및 장치 - Google Patents

Abstract

이미지 데이터와 같은 다양한 형태의 데이터의 해상도를 향상시키기 위한 알고리즘이 제공된다. 향상된 데이터는 베이어형(Bayer-type) 컬러 모자이크, 노출 레벨 모자이크 또는 컬러와 노출 레벨 합성형 모자이크와 같은 국부적 비균일 감도 패턴을 이용하여 표본화 되어진 데이터일 수 있다. 해상도 향상 알고리즘은 표본 이미지의 고해상도 버전과 저해상도 버전을, 저해상도 데이터에서 고해상도 데이터로 매핑하는 파라미터의 집합을 학습(즉, 최적화)하는데 이용한다. 매핑은 다항식 모델을 포함한다. 상기 학습 처리는 다양한 표본 이미지에 대하여 반복된다. 그리고, 학습된 매핑은 대응하는 고해상도 이미지를 획득하기 위하여 다른 저해상도 이미지를 처리하는데 이용된다. 상기 학습된 매핑은 종래의 보간 기술의 해상도 향상보다 월등한 해상도 향상을 제공한다.

해상도, 감도 특성, 모자이크 패턴, SVC, SVE, SVEC

Description

데이터 해상도를 향상시키는 방법 및 장치 {METHOD AND APPARATUS FOR ENHANCING DATA RESOLUTION}

본 발명은, 발명의 명칭이 "높은 동적 범위의 컬러 영상화를 위한 장치와 방법" 인 2000년 7월 6일자 미국 제60/216,395호 가출원에 대한 우선권 주장 출원이며, 상기 가출원은 그대로 본 명세서의 참조 문헌으로서 포함된다.

본 발명은, 미국 국립과학재단(NSF)의 정보기술 연구 대상 제IIS-00-85864호로부터 미국 정부의 지원을 받아 일부 완성된 것이다. 따라서, 미국 정부는 본 발명의 일부 권리를 가질수 있다.

이미지 처리의 공통적인 목적은 소정의 입력 데이터 집합으로부터 고화질의 이미지를 얻는 것이다. 화질은 전형적으로 "해상도"에 의하여 판단되며, 일반적으로 이미지를 형성하는 데이터의 정확도와 정밀도를 주목한다. 또한, 화질은 공간 해상도(예를 들어, 단위 영역 또는 이미지당 픽셀), 각각의 정밀도, 정확도의 특성(예를 들어, 휘도 또는 색상의 동적 범위), 또는 단위 시간당 이미지 프레임의 수(예를 들어, 비디오 응용기기에서의 단위시간당 이미지 프레임의 수)를 포함할 수 있다. 전형적으로, 종래의 이미지-처리 알고리즘은, 처리되는 데이터의 외부 정보와 지식이 의미있는 것임에도 불구하고, 이를 무시하고 있는 실정이다. 그 결과, 종래의 이미지-처리 알고리즘을 이용하여 생성된 이미지의 해상도는 감소된다. 특히, 입력 이미지는 실제적으로 모든 특성들을 이론적으로 가질수 있지만, 대부분의 이미지는 영상화되는 물리적 객체를 지배하는 물리 법칙에 의해서 제한된다. 또한, 객체는 이론상 거의 모든 형태를 가질수 있지만, 다른 형태보다 보다 자주 재현되는 경향이 있는 어떠한 형태가 존재한다.

예를 들어, 이미지가 휘도 임펄스를 포함하는 것(즉, 무한대의 휘도를 갖는 무한대로 작은 점)은 이론적으로 가능한 것이지만, 그러한 현상은 실생활에서 절대 일어나지 않는다. 또한, 실제 객체의 이미지는, 예를 들어, 선, 사각형, 타원형, 평면, 원활한 원형면과 같은 단순한 기하학적 형태로 이뤄진 경우가 많다. 실제적으로, 실제 이미지가 물리적인 장면을 완전히 무작위적인 방식으로 분산된 무작위 형태의 집합으로 구성하는 일은 거의 없다. 그러나, 종래 이미지-처리 알고리즘은 전술한 대부분의 이미지를 지배하는 실제적인 제한을 고려하지 않는다.

동적 범위를 향상시키는 종래기술의 하나는 상이한 노출량을 이용하여 동일한 장면의 다중 이미지를 순차적으로 캡쳐하는 것이다. 각각의 이미지에 대한 노출량은 이미지 광학기기의 조리개 또는 이미지 검출기의 노출 시간중 하나를 변화시킴에 의해 제어된다. 높은 노출 이미지(즉, 넓은 조리개 또는 긴 노출 시간을 이용하여 캡쳐된 이미지)는 밝은 장면의 영역에서는 포화되는 경향이 있지만, 어두운 지역은 더 정확하게 캡쳐된다. 반면에, 낮은 노출 이미지(즉, 작은 조리개와 짧은 노출 시간을 이용하여 캡쳐된 이미지)는 밝은 지역에서 더 작은 포화도를 가지지만, 어두운 영역에서는 너무 어둡거나 많은 노이즈를 가질 것이다. 이러한 높 은 노출과 낮은 노출 이미지의 상보성은 상기 이미지들을 단일의 높은 동적 범위 이미지(High Dynamic Range Image)로 합성되도록 할 수 있다. 이러한 기술은, 얻어진 이미지를 이미지 시스템의 복사(radiometric) 응답 함수를 계산하는데 이용함에 의해 더 향상될 수 있다.

양질의 결과를 얻기 위해서, 상이한 노출의 순차적인 이미지 캡쳐동안, 촬상 시스템, 장면의 객체, 객체의 복사 휘도가 일정하게 유지되는 것이 바람직하기 때문에, 전술한 방법은 동적인 장면보다는 정적인 장면에 더 적합하다. 그러나, 어떤 경우에서는, 정적인 장면의 요청은 다중 이미지 시스템에서 교정되어진다. 이러한 기술에서는, 광분배기(beam splitter)가 장면의 광학 이미지의 다중 복사를 생성하기 위해 사용된다. 각각의 복사물은 광학 감쇠기(optical attenuator)를 사용하거나 이미지 검출기의 노출 시간을 특정값으로 셋팅함에 의해 미리 정해진 노출을 가진 이미지 검출기에 의해 검출된다. 각각의 검출기의 노출량은 상이한 값으로 셋팅된다. 이러한 기술은 실시간으로 높은 동적 범위 이미지를 생성하는 장점을 가진다. 실시간 촬상은, 다중 이미지 복사의 처리에 방해없이 장면의 객체 또는 촬상 시스템이 캡쳐동안 이동할 수 있도록 한다. 그러나, 이러한 기술은 다중 이미지 검출기와, 모든 이미지의 정렬을 위한 정밀 광학기기와, 다중 이미지의 캡쳐와 처리를 위한 부가 하드웨어가 요구되기 때문에 비용이 많이 든다는 단점이 있다.

높은 동적 범위 이미지를 위해 이용되는 또 다른 기술은, 특수 CCD 디자인을 이용하는 것이다. 이 기술에서, 각각의 검출기 셀(cell)은 다른 사이즈의 전위 우 물(potential well)을 구비하여 상이한 감도들을 갖는 두 개의 감지 요소를 갖는다. 상기 검출기가 장면에 노출될 때, 두 개의 측정은 각각의 셀 내에서 이루어지고, 상기 측정들은 이미지가 독출되기 전에 칩상에서 합성된다. 그러나, 이러한 기술은 복잡한 CCD 이미지 센서의 제조를 요구하기 때문에 비용이 많이 든다. 또한, 두 개의 감지 요소는 단일 감지요소를 가진 이미지 검출기에서 차지하는 두 개의 픽셀과 동일한 공간 양을 차지하기 때문에, 그 인수(factor)가 2가 되므로 결과 이미지의 공간 해상도는 감소된다. 더구나, 이 기술은, 추가 처리를 위하여 칩 외부로 신호를 전송하기 전에 각각의 검출기내의 두 개의 감지 요소의 출력을 결합하기 위하여, 부가적인 칩상에 탑재된(on-chip) 전자기기를 요구한다.

또한, 높은 동적 범위 이미지 촬영을 위한 "적응 픽셀(adaptive pixel)" 기술이 제안되어져 있다. 이 기술은, 각각의 픽셀은 전위 우물에 전체 용량까지 전하를 누적하는데 필요한 시간을 측정하는 계측 요소를 구비한 고체 이미지 센서를 이용한다. 상기 전위 우물의 용량은 모든 픽셀에 대해 동일하기 때문에, 전위 우물을 채우는 데 필요한 시간은 대응 픽셀상에 광입사 강도에 비례한다. 기록된 시간값은 독출되고 높은 동적 범위 이미지로 변환된다. 어떤 경우에서는, 이 기술은 증가된 동적 범위를 제공할 수 있다. 그러나, 37x32 셀 장치가 설계되었음에도 불구하고, 높은 제조 비용을 초래하지 않고서는, 고해상도까지 기술을 확대하는 것은 어렵다고 할 것이다. 또한, 어두운 장면의 영역에서 노출 시간들이 커지는 경향이 있기 때문에, 이 기술은 상대적으로 모션 블러(motion blur)에 대해 높은 민감도를 가지는 경향이 있다.

또한, 이미지 데이터는 이미지 픽셀에 관련한 편광 데이터의 형태로 캡쳐될 수도 있다. 특히, 검출기 배열내의 각각의 요소의 전방에 개별 편광 필터를 위치시키는 것이 제안되어져 있다. 예를 들어, 개별 편광 필터는 검출기의 배열을 커버하는 컬러 필터에 부가되어질 수 있다. 상기 편광 필터의 하부에 위치한 상기 검출기들의 출력은 검출기 근처에서 일어나는 광의 편광을 추정하는데 이용될 수 있다. 그러나, 이러한 기술은 편광 데이터에 대하여 하나의 픽셀을 둘러싸는 전체 영역을 단일 픽셀로서 취급하기 때문에 공간 해상도를 희생시킨다.

따라서, 본 발명의 목적은, 본 발명이 제안하는 알고리즘에 의한 처리 경향이 강한 전형적인 이미지 특징에 관한 정보를 이용하는 이미지-처리 알고리즘을 제공하는 것이다.

본 발명의 또 다른 목적은 데이터의 해상도를 향상시키기 위해 전술한 정보를 이용할 수 있는 이미지-처리 시스템을 제공하는 것이다.

상기 목적과 또 다른 목적은 이하에 기술되는 본 발명의 특징에 의해 달성될 수 있다.

본 발명의 하나의 특징에 따른, 향상된 해상도의 데이터를 생성하는 방법은: (1) 국부적으로 비균일한 측정 패턴에 배열된 복수의 감도 특성을 이용하여 생성된 제1 데이터 집합을 수신하는 단계와, (2)상기 제1 데이터 집합을 처리하는 데 모델을 이용하고, 이에 의해, 학습 절차(learning procedure)를 이용하여 결정된 제1 모델 파라미터를 가진 제2 데이터 집합을 생성하는 단계를 포함한다.

본 발명의 또 다른 특징에 따른, 향상된 해상도의 데이터를 생성하는 방법은: (1) 적어도 1차원에서의 제1 지역에서 제1 값을 가지는 적어도 하나의 변수의 제1 값을 나타내는 제1 데이터를 수신하는 단계와, (2) 적어도 1차원에서의 제2 지역에서의 제2 값을 가지는 적어도 하나의 변수의 제2 값을 나타내는 제2 데이터를 수신하는 단계와, (3) 다항식 모델을 상기 제1 및 제2 데이터를 처리하는데 이용하며, 이에 의해, 적어도 제3 데이터를 생성하는 단계를 포함하며, 상기 다항식 모델은 (a)상기 제1 데이터에 상기 다항식 모델의 적용을 제어하는 제1 다항식 계수와, (b) 상기 제2 데이터에 상기 다항식 모델의 적용을 제어하는 제2 다항식 계수를 가지며, 상기 제1 및 제2 다항식 계수는 학습 절차(learning procedure)를 이용하여 결정된다.

본 발명의 또 다른 특징에 따른, 측정 방법은, (1)제1 신호 집합의 적어도 하나의 측정치를 포함하는 제1 측정 집합을 수행하는 단계로서, 상기 제1 신호 집합은 적어도 1차원에서의 제1 영역으로부터 적어도 하나의 신호를 포함하며, 상기 제1 측정 집합은 상기 제1 신호 집합에 대한 제1 감도 특성 및 제2 감도 특성에 기초하며, 상기 제1 감도 특성은 제1 특성 형태를 가지며, 상기 제2 감도 특성은 제2 특성 형태를 가지는, 상기 제1 측정 집합 수행 단계와, (2) 제2 신호 집합의 적어도 하나의 측정치를 포함하는 제2 측정 집합을 수행하는 단계로서, 상기 제2 신호 집합은 적어도 1 차원에서의 제2 영역으로부터 적어도 하나의 신호를 포함하며, 상기 제2 측정 집합은 상기 제2 신호 집합에 대한 제1 감도 특성을 가지며, 상기 제2 측정 집합은 상기 제2 신호 집합에 대한 제3 감도 특성을 더 가지며, 상기 제3 감 도 특성은 제2 특성 형태를 가지는, 상기 제2 측정 집합 수행 단계와, (3)제3 신호 집합의 적어도 하나의 측정치를 포함하는 제3 측정 집합을 수행하는 단계로서, 상기 제3 신호 집합은 적어도 1 차원에서의 제3 영역으로부터 적어도 하나의 신호를 포함하며, 상기 제3 측정 집합은 상기 제3 신호 집합에 대한 제4 감도 특성을 가지며, 상기 제4 감도 특성은 제1 특성 형태를 가지는, 상기 제3 측정 집합 수행 단계를 포함한다.

본 발명의 또 다른 특징에 따른, 측정 방법은, (1) 제1 신호 집합의 적어도 하나의 측정치를 포함하는 제1 측정 집합을 수행하는 단계로서, 상기 제1 신호 집합은 적어도 1 차원에서의 제1 영역으로부터 적어도 하나의 신호를 포함하며, 상기 제1 측정 집합은 상기 제1 신호 집합에 대한 제1, 제2 및 제3 감도 특성을 가지며, 상기 제1 감도 특성은 제1 특성 형태를 가지며, 상기 제2 감도 특성은 제2 특성 형태를 가지며, 상기 제3 감도 특성은 제3 특성 형태를 가지는, 상기 제1 측정 집합 수행 단계와, (2) 제2 신호 집합의 적어도 하나의 측정치를 포함하는 제2 측정 집합을 수행하는 단계로서, 상기 제2 신호 집합은 적어도 1 차원에서의 제2 영역으로부터 적어도 하나의 신호를 포함하며, 상기 제2 측정 집합은 상기 제2 신호 집합에 대하여 제1 감도 특성을 가지며, 상기 제2 측정 집합은 상기 제2 신호 집합에 대한 제4 및 제5 감도 특성을 더 가지며, 상기 제4 감도 특성은 제2 특성 형태를 가지며, 상기 제5 감도 특성은 상기 제3 특성 형태를 가지는, 상기 제2 측정 집합 수행 단계를 포함한다.

본 발명 자체는 물론, 본 발명의 다른 특징 및 장점은 다음의 상세한 설명 및 첨부된 도면을 참조하는 경우 보다 명백해 질 것이다.

도 1은 본 발명에 따라 데이터 해상도를 향상시키기 위한 예시적인 절차를 도시한 블록도이다.

도 2는 본 발명에 따른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 3은 본 발명에 따라 데이터 해상도를 향상시키기 위한 예시적인 절차를 도시한 블록도이다.

도 4는 본 발명에 따라 데이터 해상도를 향상시키기 위한 다른 예시적인 절차를 도시한 흐름도이다.

도 5는 본 발명에 따라 데이터 해상도를 향상시키기 위한 또 다른 예시적인 절차를 도시한 흐름도이다.

도 6a는 본 발명에 따른 예시적인 검출기 감도 패턴의 사용을 도시한 도면이다.

도 6b는 본 발명에 따른 다른 예시적인 검출기 감도 패턴의 사용을 도시한 도면이다.

도 6c는 본 발명에 따른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 6d는 본 발명에 따른 다른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 6e는 본 발명에 따른 또 다른 예시적인 검출기 감도 패턴의 사용을 도시한 도면이다.

도 6f는 본 발명에 따른 또 다른 예시적인 검출기 감도 패턴의 사용을 도시한 도면이다.

도 7은 본 발명에 따른 또 다른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 8a는 본 발명에 따라 보다 높은 해상도 데이터 집합을 얻기 위한 입력 데이터 집합의 처리를 도시한 도면이다.

도 8b는 본 발명에 따라 보다 높은 해상도 데이터 집합을 얻기 위한 다른 입력 집합의 처리를 도시한 도면이다.

도 9는 본 발명에 따라 데이터 해상도를 향상시키기 위한 예시적인 절차를 도시한 흐름도이다.

도 10은 본 발명에 따른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 11은 본 발명에 따른 다른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 12는 본 발명에 따른 또 다른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 13은 본 발명에 따른 예시적인 다항식 매핑 함수에 의한 데이터 처리를 도시한 블록도이다.

도 14는 본 발명에 따라 데이터 해상도를 향상시키기 위한 예시적인 절차를 도시한 행렬을 도시한 도면이다.

도 15는 본 발명에 따라 데이터 해상도를 향상시키기 위한 다른 예시적인 절 차를 도시한 흐름도이다.

도 16은 본 발명에 따라 데이터 해상도를 향상시키기 위한 또 다른 예시적인 절차를 도시한 흐름도이다.

도 17은 본 발명에 따른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 18a는 본 발명에 따른 검출기 감도 패턴을 사용하는 예시적인 방법을 도시한 도면이다.

도 18b는 본 발명에 따른 검출기 감도 패턴을 사용하는 다른 예시적인 방법을 도시한 도면이다.

도 18c는 본 발명에 따른 검출기 감도 패턴을 사용하는 또 다른 예시적인 방법을 도시한 도면이다.

도 19는 본 발명에 따른 예시적인 다항식 매핑 함수를 사용하여 입력 데이터를 처리하는 것을 도시한 블록도이다.

도 20은 본 발명에 따라 데이터 해상도를 향상시키기 위한 예시적인 절차를 도시한 블록도이다.

도 21은 본 발명에 따라 데이터 해상도를 향상시키기 위한 다른 예시적인 절차를 도시한 흐름도이다.

도 22는 본 발명에 따른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 23은 본 발명에 따른 예시적인 다항식 매핑 함수를 사용하여 입력 데이터를 처리하는 것을 도시한 블록도이다.

도 24는 본 발명에 따라 데이터 해상도를 향상시키기 위한 또 다른 예시적인 절차를 도시한 흐름도이다.

도 25는 본 발명에 따라 데이터 해상도를 향상시키기 위한 또 다른 예시적인 절차를 도시한 흐름도이다.

도 26은 본 발명에 따른 또 다른 검출기 감도 패턴을 도시한 도면이다.

도 27은 본 발명에 따른 데이터 재구성을 도시한 도면이다.

도 28은 본 발명에 따른 또 다른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 29는 본 발명에 따른 또 다른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 30은 본 발명에 따른 또 다른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 31은 본 발명에 따른 또 다른 예시적인 검출기 감도 패턴을 도시한 도면이다.

도 32는 본 발명에 따른 데이터 해상도 향상 절차를 수행하는 컴퓨터 시스템을 도시한 블록도이다.

도 33은 도 32의 컴퓨터 시스템에서 사용되는 프로세서의 블록도이다.

도 34는 본 발명에 따라 데이터 해상도를 향상시키기 위한 예시적인 절차의 성능 레벨을 도시한 그래프이다.

도 35는 본 발명에 따라 데이터 해상도를 향상시키기 위한 다른 예시적인 절차의 성능을 도시한 그래프이다.

도 36은 본 발명에 따라 데이터 해상도를 향상시키기 위한 또 다른 예시적인 절차의 성능을 도시한 그래프이다.

다른 언급이 없는 한 도면 전에 대해 동일한 참조번호 및 문자는 유사한 특징, 엘리먼트, 구성요소, 또는 실시예의 영역을 나타내는데 사용된다. 게다가, 본 발명이 구체적인 실시예를 참조하여 설명되겠지만, 본 발명은 개시되는 실시예에 한정되지 않으며, 후술되는 특허청구범위 내에 속하는 다양한 변형 및 등가물들도 포함할 수 있다.

많은 이미지들이 실제 또는 가상의 물리적 장면을 나타낸다. 이미지 데이터는 흔히 각 픽셀 데이터들(datum)이 장면 내에서 특정 영역(region)이나 지점(point)의 속성(attribute) 예를 들어 휘도 및/또는 컬러를 나타내는 픽셀 데이터 집합으로 이루어진다. 그러나, 휘도 및 컬러 이외에, 픽셀 데이터는 깊이(depth), 광 편광(light polarization). 온도, 또는 장면의 다른 물리적 속성 값을 포함할 수 있다. 더욱이, 이미지가 흔히 공간적 차원(예를 들어, 수직 위치, 수평 위치, 및/또는 깊이 위치(예를 들어, 카메라 또는 관찰자로부터의 거리))의 함수로서 장면의 물리적 속성(예를 들어, 휘도)을 나타냄에도 불구하고, 속성이 시간과 같은 다른 차원의 함수로 표현될 수도 있다. 전형적으로, 제한된 픽셀 수 및/또는 각 픽셀의 제한된 동적 범위로 인하여 이용 가능한 이미지 데이터가 제한된 해상도를 가진다. 그러므로, 이미지 데이터가 물리적 장면을 나타내는 정확도는 제한된다. 입력되는(incomming) 이미지 데이터를 처리하여 보다 정확하게 및/ 또는 보다 정밀하게 장면을 나타내는 보다 높은 고해상도의 데이터를 생성하는 것이 바람직하다.

이러한 데이터 해상도의 향상은 입력되는 데이터의 하나 또는 그 이상의 함수로서 각각의 높은 해상도 데이터를 생성할 수 있다. 특히, 입력되는 이미지의 한 영역에서의 데이터는 처리된 이미지의 대응하는 영역에서 보다 높은 해상도 데이터를 생성하는데 사용될 수 있다. 그러나, 고해상도 데이터 집합은 일반적으로 대응하는 저해상도 데이터 집합보다 많은 정보를 포함한다. 예를 들면, 모든 픽셀이 동일한 동적 범위를 가지다면, 보다 많은 픽셀을 가지는 이미지가 적은 픽셀 수를 가지는 이미지보다 더 많은 정보를 포함한다. 또한, 높은 동적 범위의 소정 수의 집합이 낮은 동적 범위의 동일한 수의 집합보다 더 많은 정보를 포함한다. 그러므로, 이용가능한 외부의 정보(extrinsic information)가 없다면 즉, 입력되는 데이터 이외에 이용 가능한 정보가 없다면, 저 품질 데이터로부터 고 품질 이미지를 재구성(reconstruct)할 수 없다.

한편, 위에 기술한 바와 같이, 많은 이미지에 대하여 부가적인 이용 가능한 외부 정보가 있다면, 이 정보는 대부분의 이미지에서 전형적으로 나타나고 발생될 것으로 기대되는 형상(shape) 및 패턴에 대한 지식(knowledge)을 포함한다.

본 발명에 따르면, 이러한 외부 정보가 입력되는 데이터 집합과 처리된 데이터 집합 사이의 맵의 파라미터(parameter)에 통합된다. 맵-a/k/a 모델-은 고 해상도의 처리된 데이터를 생성하기 위하여 입력되는 데이터에 적용되는 함수의 집합을 포함한다. 전술한 외부 정보의 통합은 하나 또는 그 이상의 대표적인 샘플 이미지- 또는 이미지 부분-을 사용하는 "학습(learning)" 과정(a/k/a "훈련(training)" 과정)을 사용하여 수행되어 모델의 파라미터를 최적화한다. 모델 파라미터가 최적화되면, 최적화된 맵이 각 이미지의 기억 장소(location)에서 데이터의 적당한 "정정(correct)" 값의 개선된 추정을 제공하기 때문에, 결과적으로 맵은 낮은 해상도의 입력되는 데이터로부터 높은 해상도 데이터를 생성하는데 사용될 수 있다. 실제로, 최적화된 맵은 가공되지 않는 데이터 사이의 장소(location)에 데이터(예를 들어, 이미지 속성 값)의 향상된 품질의 추정을 산출하는 것을 가능하게 하며, 이에 따라 이미지 또는 이미지 시퀀스의 공간 또는 시간적 해상도의 향상을 가능하게 한다. 다시 말하자면, 별도의 픽셀이나 프레임의 추가에 의하여 픽셀 또는 이미지 프레임의 수가 증가될 수 있다. 본 발명에 따르면, 추가되는 데이터는 이웃하는(neighboring) 픽셀 또는 프레임을 토대로 단지 삽입된 값일 필요가 없지만, 대신에 전형적인 이미지 특징에 대한 학습된 지식이나 다른 데이터를 토대로 인텔리전트한 예측(prediction)을 구성할 수 있다.

본 발명의 기술이 이미지 관련 데이터의 품질을 향상시키는데 특히 효과적이며, 여기에 기술되는 것은 상기 기술이 사용될 수 있는 데이터의 타입에 대한 어떤 한정도 포함하지 않는다. 예를 들어, 본 발명의 기술은 (a) 재무 증서 (financial instrument)의 값이나 다른 값들의 시간 시퀀스(time sequence)와 같은 1차원 데이터, (b) 평면 이미지 데이터와 같은 2차원 데이터, (c) 깊이 정보를 포함하는 이미지 데이터와 같은 3차원 데이터, 또는 2차원 이미지 데이터의 시간 시퀀스를 포함하는 비디오 데이터 및 (d) 깊이 정보를 포함하는 이미지 데이터의 시간 시퀀스를 포함하는 3차원 비디오 데이터와 같은 4차원 데이터, 또는 (e) 임의 차원의 다른 형태의 데이터에 적용될 수 있다.

도 1은 본 발명에 따른 향상된 해상도를 가지는 데이터를 생성하기 위하여 데이터 집합을 처리하는 예를 나타낸다. 예에 도시되어 있듯이, 제1 데이터 집합(102) 예를 들면 가공되지 않은 이미지가 검출기 어레이(104)로부터 수신된다. 제1 데이터 집합(102)은 예를 들면 가공되지 않은 이미지의 픽셀일 수 있는 제1 및 제2 데이터(122,124)를 포함한다. 제1 데이터(122)는 예를 들면 이미지화 된 장면의 제1 부분(640)의 휘도와 같은 적어도 하나 이상의 변수(variable)의 제1 값을 나타낸다. 특히, 장면 내에서 물리적 객체(object)의 표면 상의 제1 부분(640)이 특정 휘도를 가진다면, 제1 데이터(122)는 휘도를 나타낸다. 동일하게, 제2 데이터(124)는 장면 내에서 물리적 객체의 표면 상의 제2 부분(642)의 휘도를 나타낸다.

모델(106)이 제1 데이터 집합(102)을 처리하는데 사용되며, 이에 따라 제2 데이터 집합(108)이 생성된다. 바람직하게, 모델(106)은 제1 데이터(122)에 대한 모델(106)의 적용을 제어하는 제1 모델 파라미터(116)와, 제2 데이터(124)에 대한 모델(106)의 적용을 제어하는 제2 모델 파라미터(118)를 포함한다. 제2 데이터 집합(108)은 제1 및 제2 데이터(122,124)에 대한 모델(106)의 적용에 따라 생성되는 제3 데이터(120)를 포함한다.

본 발명의 바람직한 실시예에서, 맵(106)은 제1 데이터 집합(102)에서 데이터의 다항식 함수 집합을 포함한다. 제1 및 제2 데이터(122,1240는 도 4에 도시된 알고리즘에 따라 처리될 수 있다. 예시된 알고리즘에서, 제1 데이터가 수신된다(단계 402). 제2 데이터가 또한 수신된다(단계 404). 제1 및 제2 데이터가 처리되는데 모델(106)이 사용되고(단계 406), 이에 따라 제3 데이터(120)가 생성된다(단계 414). 다항식 모델이 사용되면, 단계(406)는 제1 데이터(122)에 제1 다항식 계수(coefficient)를 적용하는 단계(408), 제2 데이터(124)에 제2 다항식 계수를 적용하는 단계(410), 및 단계(408)와 단계(410)의 결과를 합산하는 단계(412)를 포함하는 것이 바람직하다. 데이터에 대한 다항식 계수의 적용은 전형적으로 계수에 데이터의 수학적 거듭제곱(power)을 곱하는 것을 포함한다.

바람직하게, 모델(106)은 캡쳐된 이미지 내에서 작은 이웃지역(neighborhood)으로부터 픽셀 치수(measurements)를 수신하는 로컬 매핑 함수의 집합을 포함하고, 픽셀 치수를 요구되는 출력 이미지 값(또는 값들)으로 변환한다. 매핑 함수는 고품질 데이터(예를 들어, 고해상도 이미지 데이터)의 샘플과 고품질 데이터로부터 계산되는 저품질의 데이터 샘플을 비교하여 "학습" 된다. 예를 들면, 낮은 공간 해상도를 가지는 휘도 이미지를 처리하는 구조적 모델을 학습하여, 높은 공간 해상도를 가지는 휘도 이미지를 생성하는 것이 목표이면, 고해상도 이미지는 대응하는 낮은 해상도 이미지를 생성하기 위하여 의도적으로 선명도가 떨어질 수 있다(degraded).(흐리게 되거나 샘플링이 떨어진다.)

다른 예로서, 다양한 서로 다른 노출 레벨에 대응하여, 낮은 동적 범위 이미지(예를 들어, 픽셀당 8 비트의 이미지)의 시퀀스로부터 높은 동적 범위 이미지(예를 들어, 픽셀당 12비트의 이미지)를 계산하도록 모델이 최적화되면, 높은 동적 범 위 이미지는 크기가 조정되고(scaled), 일부가 절단되고(truncated), 재양자화되어(re-quantized), 낮은 동적 범위를 가지는 테스트 이미지가 생성된다. 즉, 훈련 과정에서 사용을 위해 측정된 데이터의 저품질 시물레이션을 종합적으로 다루기 위하여 고화질 이미지의 선명도를 떨어뜨리는데, 강등(downgrade) 처리 단계가 사용된다. 고화질 이미지와 저화질 이미지의 관계가 도 8a 및 도 8b에 예시되어 있다. 도 8a에 도시된 예에서, 저품질 데이터 집합(802)이 고품질 데이터(804)의 저해상도 버전이다. 그러므로, 두 이미지의 동일한 영역에, 측정된 이미지보다 고화질 이미지에서 샘플들이 더 많다. 도 8b에 도시된 예에서, 고품질 데이터 집합(808)이 시간 차원(즉, 시간)을 포함하며, 저품질 데이터 집합(806)보다 더 높은 공간 및/또는 시간 해상도를 가진다.

학습 단계에서 사용된 고화질 이미지가 실제 장면, 다양한 표현 기술을 이용하여 생성된 합성 이미지, 또는 실제 및 합성 이미지 데이터의 조합의 이미지일 수 있다. 실제 장면의 이미지는 고화질(예를 들면, 전문적인 등급) 이미지 시스템을 사용하여 얻어질 수 있으며, 고화질 이미지가 저화질 이미지 시스템의 특징과 쇼트카밍(shortcomming)을 시뮬레이션하는 모델을 사용하여 선명도가 떨어진다면, 본 발명의 해상도 향상 기술은 보다 낮은 저화질 이미지 시스템이 고품질 시스템의 성능을 추정하도록 할 수 있다. 알고리즘에 사용된 구조 모델은 가능한 일반적인 것이 바람직하며, 따라서, 훈련 과정을 위해 선택되는 이미지는 장면 타입의 전체 범위와 실상에서 직면하게될 것으로 예상되는 특징을 충분하게 표현하여야 한다. 예를 들면, 도시 환경(urban setting), 풍경(landscape) 및 실내 공간의 이미지들이 포함되는 것이 바람직하다. 또한, 선택된 이미지들은 실내광, 흐린 실외 조건, 및 햇빛 밝은 실외 조건을 포함하는 실제로 직면하게 되는 조명 조건의 전체 범위를 표현하는 것이 바람직하다. 또한, 구조 모델 최적화 처리가 스케일링과 오리엔테이션의 효과(effect)를 포착하도록, 다양한 배율 설정과 교체(rotation) 하에서 얻어지는 동일 장면의 이미지를 포함하는 것이 효과적이다. 합성 이미지는 특정 응용에 적절할 수 있는 구체적인 특징을 포함할 수 있기 때문에, 특히 유용할 수 있다. 예를 들면, 합성 이미지 생성시에, 다양한 오리엔테이션과 스케일링에서 에지(edge), 선, 커브, 및/또는 더 많은 복잡한 특징들을 비교적 쉽게 표현할 수 있다. 또한, 컴퓨터로 생성되는 이미지에서는 표면 질감(texture)의 구체적 형태가 쉽게 합성될 수 있다.

고화질 이미지와 이에 해당하는 저화질 이미지가 얻어지면, 하나 또는 그 이상의 구조적 매핑 모델을 추정하는 것이 바람직하다. 추정을 수행하기 위한 예시 과정이 도 9에 도시되어 있다. 도시된 예의 구조 모델(902)는 입력 데이터 M(x, y)(예를 들면, 실제 측정된 데이터 또는 시뮬레이트된 데이터)를 요구되는 출력 값 H(i, j)의 관계를 나타내는 일반적인 함수이다. 입력 데이터와 출력 데이터의 관계는 다음과 같이 나타낼 수 있다.

여기서, X와 Y는 대응 고품질 값 H(i, j)를 둘러싸고 있거나 인접한 입력 측정 데이터 M(x,y)의 이웃지역(neighborhood)을 정의한다. 구조 모델의 추정은 필 수적으로 [수학식 1]의 함수 f의 파라미터의 추정을 포함한다.

이 예에서 함수 f는 일반적인 용어(term)으로 정의되어 있다. 함수 f는 선형적(linear)이거나 비선형적일 수 있다. 함수의 파라미터들은 얼마든지의 서로 다른 회귀(regression) 기술을 사용하여 임으로 추정될 수 있다. 회귀 방법은 선형적이거나 비선형적일 수 있으며, 통계 분야에서 주로 사용되는 것과 같이 조정(fitting) 동안 바깥 지점(outlying point)을 추정하는 등의 기술을 포함할 수 있다. 더욱이, 함수 f는 함수 계수가 추정될 모델의 파라미터인 기본 함수의 조합을 포함할 수 있다.

또한, 도 3에 예시되어 있듯이, 모델(106)은 네트워크(306)를 포함할 수 있다. 도 3에 도시된 예에서, 제1 데이터 집합(102)은 다양한 링크(304)에 의하여 연결되어 있는 다수 노드(302)를 포함하는 네트워크(306)로 수신된다. 네트워크(306)는 예를 들면, Markov 네트워크, Bayesian 네트워크 및/또는 뉴럴 네트워크와 같은 알려진 모든 네트워크를 포함할 수 있다. 네트워크(306)는 제1 데이터 집합(102)을 처리하여, 향상된 해상도를 가지는 제2 데이터 집합(108)을 생성한다. 함수가 Bayesian 네트워크 또는 뉴럴 네트워크로서 실행된다면, 함수의 파라미터들은 역전파(back-propagation) 알고리즘 등의 다양한 알려진 방법들을 사용하여 추정될 수 있다. 더욱이, 모델은 선택적으로 숨겨진(hidden) Markov 모델을 포함할 수 있다. 바람직한 실시예에서, 요구되는 고품질 값은 입력 데이터의 다항식함수로서 설계된다(modeled). 모델의 형식(form)에도 불구하고, 본 발명의 알고리즘은 계수 집합 C 또는 다른 모델 파라미터들을 결정하고 최적화 하고자 한다. 위에 기술된 바와 같이, 고품질 훈련 이미지(실제, 합성 또는 둘다)가 이러한 계수들을 계산하는데 사용된다(단계 904). 상기 과정에서 사용되는 이웃지역들((x,y)의 크기를 가짐)은 일반적으로 작기(이 이웃지역들의 일반적인 예는 최후에 계산되는 값을 가진 고품질 픽셀의 장소를 둘러싸는 저품질 픽셀의 5×5 윈도우일 수 있음) 때문에, 고품질 훈련 이미지는 일반적으로 계수를 찾는데 유용한 많은 데이터를 제공한다.

위에 기술된 방법으로 구조 모델(902)이 계산되면, 데이터의 재구성(reconstruction)이 수행될 수 있다. 재구성 처리는 도 9에 예시되어 있듯이 저품질 데이터에 모델을 적용하는 것을 포함한다. 저품질 데이터는 효율적인 저장 및/또는 전송을 위해 물리적 측정 장치로부터 얻어지거나, 고품질 데이터 대신에 사용되고 고품질 데이터로부터 생성된 "합성의(synthetic)" 저품질 데이터일 수 있다. 더욱이, 저품질 데이터는 상대적 으로 저품질 센서의 모델(도 9에서 906 아이템)을 사용하여 고품질 데이터로부터 합성될 수 있다.

각 출력 이미지 값은 재구성 처리로부터 얻어진다.

다수의 응용시에 국부적 비동질 측정 패턴-즉, 인접하거나 가까운 센서의 특성과는 현저히 다른 감도 특성을 가지는 한 센서의 패턴-을 사용하여 입력되는 이미지 신호를 측정하는 것이 효과적이다. 이러한 패턴-또한 "모자이크"로 명명될 수 있음-은 검출기 어레이의 감도가 중심에서부터 가장자리(edge)로 갈수록 점차적으로 감소되는 경향이 있는 "비네팅(vignetting)" 과 같은 효과(effect)와는 구별된다. 비네팅 효과는 전체 어레이의 크기에 필적하는 스케일에서 발생한다.

대부분의 광 세기 센서의 제한된 동적 범위 그리고, 사람 눈의 높은 동적 범위로 인하여, 입력되는 광의 세기(즉, 휘도)에 서로 다른 감도를 가지는 센서들의 패턴을 사용하는 것이 바람직할 수 있다. 그러한 패턴은 장면의 상당히 밝은(well-lit) 부분과 덜 밝은(poorly-lit) 부분의 휘도를 정확하게 측정할 수 있도록 한다. 이러한 국부적 비동질 측정 패턴의 예가 도 1에 도시되어 있다. 패턴(110)은 입력되는 광의 세기에 높은 감도를 가지는 제1 영역(114)과, 입력되는 광의 세기에 떨어진 감도를 가지는 제2 영역(112)을 포함한다. 검출기 어레이(106)에 사용될 보다 큰 국부적 비동질 측정 패턴을 형성하기 위하여, 국부적 비동질 측정 패턴(110)은 다수회 반복될 수 있다. 이에 따른 이미지는 "공간 가변 노출(spatially varying exposure:SVE)" 이미지로 명명될 수 있다. 도 1에 도시된 예에서, 장면에서 객체(126)의 제1 부분(640)으로부터 입력되는 광은 측정 패턴(110)의 제1 부분(114)으로 수신된다. 객체(126)의 표면 상의 제2 장소(642)로부터 입력되는 광은 검출기 어레이(110)에서 사용되는 측정 패턴의 제2 부분(112)으로 수신된다. 바람직하게, 모델(106)의 제1 모델 파라미터는 측정 패턴(110)의 제1 부분(114)의 감도 특성(즉, 고감도)에 해당하고, 일치되며 최적화 되며, 제2 모델 파라미터(118)는 측정 패턴(110)의 제2 부분(112)의 감도 특성(즉, 떨어진 감도)에 해당하고, 일치되며 최적화 된다. 검출기 어레이(104)를 위한 보 다 큰 패턴을 형성하기 위하여 국부적 비동질 측정 패턴(110)이 반복되는 것과 마찬가지로, 제1 및 제2 모델 파라미터(116, 118)는 측정 패턴(110)의 제1 및 제2 부분(114, 112)의 각각의 복사(copy)를 위해 재사용되는 것이 바람직하다. 제1 센서 특성을 가지는 센서를 사용하여 샘플링된 가공하지 않은 데이터가 서로 다른 감도 특성을 가지는 센서를 사용하여 샘플링된 가공하지 않은 데이터의 장면과는 다른 장면과 관계(relationship)를 가질 수 있기 때문에, 그러한 구성은 유익하다. 그러므로, 맵(106)의 파라미터(116, 118)를 결정하고 최적화 하는 경우, 각각의 감도 특성은 해당 맵 파라미터에 할당되는 것이 바람직하다.

도 17은 공간적 비동질 휘도 감도(즉, SVE) 패턴을 추가적으로 도시한다. 도면에서 보다 밝게 도시된 픽셀은 입력되는 광 세기에 대하여 더 큰 감도를 가지며, 보다 어둡게 도시된 픽셀은 입력되는 광 세기에 대하여 낮은 감도를 가진다. 도시된 예에서, 4개의 이웃하는 픽셀(1711, 1712, 1713, 1714)은 서로 다른 감도

를 가진다. 이러한 4개의 픽셀(1711, 1712, 1713, 1714)은 검출기 어레이를 커버(cover)하기 위하여 반복되는 2×2 이웃지역(1705)을 형성한다. 4개의 값을 가지는 감도 패턴을 토대로 하는 SVE 이미지는 2×2 이웃지역(1705)의 개별적 순환 시프트에 해당하는 4개의 서로 다른 타입의 국부 이웃지역 세기 감도 패턴(1722,1724,1726,1728)을 가진다.

SVE 패턴은 비록 픽셀이 포화된 경우에도 픽셀이 포화되지 않은 적어도 하나의 이웃(neighbor)을 가질 수 있기 때문에, 효과적이다. 또한, SVE 패턴에서 픽셀이 매우 낮거나 제로의 휘도를 가리키거나(register), 낮은 신호대 잡음비를 가지 는 경우에도, 픽셀이 측정가능한 휘도를 가리키거나 및/또는 만족스러운 신호대 잡음비를 가지는 적어도 하나의 이웃을 가질 수 있다. 그 결과, SVE 패턴은 장면의 높은 동적 범위 이미지의 계산을 가능하게 한다.

SVE 기술은 도 17에 도시된 모자이크에 결코 한정되지는 않는다. 휘도 감도 값의 수-보다 정확하게는 서로 다른 국부 패턴 타입의 수-는 변화될 수 있으며, 패턴은 주기적일 필요는 없다. 임의로 배열된 노출 모자이크가 유용한 경우가 있다. 또한, SVE 모자이크는 다양한 방법으로 실행될 수 있다. 하나의 방법은 서로 다른 광학적 투과도(transparency)를 가지는 셀을 포함하는 마스크로 검출기 어레이를 커버하는 것이다. 선택적으로, 또는 추가적으로, 특히, 검출기가 CCD 어레이와 같은 고체 상태 소자이면, 검출기 위에 직접적으로 감도 패턴(즉, 모자이크)을 에칭할 수 있다. 더욱이, 픽셀의 감도는 (1) 서로 다르게 구성된 마이크로렌즈로 각 픽셀을 커버하는 것, (2) 서로 다른 픽셀에 대하여 다양한 서로 다른 통합 시간(integration times)을 사용하는 것, (3) 서로 다른 조리개로 각 픽셀을 커버하는 것과 같은 부가적 기술로 미리 조절될 수 있다. 전술한 모든 실행(implementation)은 공간적으로 변화되는 휘도 감도 패턴을 가지는 검출기 어레이를 제공하는데 사용될 수 있다.

서로 다른 투과도를 가지는 셀로 이루어지는 모자이크를 가지는 광학 마스크를 사용하는 것이 특히 편리하며, 이것은 실질적으로 임의 이미징 시스템을 매우 간단하게 변경하는 것으로 그러한 방법이 실행될 수 있기 때문이다. 도 18a 내지 도 18c는 광학 마스크를 이미징 시스템에 구체화하는 다수의 방법을 나타낸다. 도 18a에서, 마스크(1802)는 검출기(1804)의 평면(plane)에 인접하여 위치된다. 마스크(1802)는 또한 렌즈(1806)의 외부에 위치될 수 있으며, 이것은 일반적으로 검출기 평면(1804)을 억세스 하는 것이 어려운 시스템에서 바람직하다. 도 18b에 도시된 예에서, 주 렌즈(1810)는 장면(1801)을 마스크(1802)의 평면 위에 포컹싱(focusing)하는데 사용된다. 마스크(1802)로부터 나온 광선은 주 렌즈(1806)로 입사되고, 검출기(1804)의 평면 위에 포커싱 된다. 마스크(1802)로 입사되는 광선의 방향성을 감소시키거나 제거하기 위하여 확산기(1812)가 사용될 수 있으며, 이 경우 이미징 렌즈(1806)가 확산기(1812)의 평면에 포커싱되는 것이 바람직하다. 도 18c는 종래의 촬영 카메라에 쉽게 적용될 수 있는 마스크(1802)의 배치를 나타낸다. 도 18c에 도시된 예에서, 마스크(1802)는 필름(1814)이 감아지는 평면에 인접하여 고정된다. SVE 기술은 결코 가시 광(visible light)에 한정되지는 않는다. 실제로, 임의의 전자기적 복사(radiation) 이미지기(imager) 또는 다른 복사 이미지기의 동적 범위가 SVE 방법의 사용으로 향상될 수 있다.

본 발명에 따르면, 낮은 동적 범위 SVE 이미지가 로컬 다항식 매핑 함수를 사용하여 높은 동적 범위 이미지로 매핑될 수 있다. SVE 알고리즘은 이미지 조사(irradiance)의 공간-노출(spatio-exposure) 차원을 활용하기 위하여 구조 모델을 개발하려고 한다.

측정 데이터(예를 들면, SVE 센서를 사용하여 캡쳐된 데이터)가 M으로 표현되는 것으로 하자. 높은 동적 범위 이미지 H는 구조 모델(즉, 매핑 함수)의 집합을 사용하는 M으로부터 재구성될 수 있으며, 구조 모델은 각각의 4가지 타입의 국부 이웃지역 패턴 p 에 대한 것이다. M_p가 특정 국부 패턴 P를 가지는 M의 이웃지역을 의미한다고 하자. 이웃지역 센터(center)에서 요구되는 높은 동적 범위 값은 다음과 같이 추정될 수 있다.

여기서, S_p(i,j)는 도 19에 도시된 바와 같이, 픽셀(i,j)의 이웃지역이다.

는 (1) 이웃지역 M_p 내에서 지점(x,y)의 미가공 값의 n^th제곱, 그리고 (2) 이웃지역 M_p 내에서 지점(k,l)의 미가공 값의 q^th 제곱의 곱(product)을 나타낸다. N_p는 다항식 매핑의 차수(order)이다. C_p는 국부 패턴 P의 다항식 계수를 나타낸다. 전형적으로 수직 방향에서 픽셀(i,j) 대신에 위치되는 픽셀들로부터 얻어지는 정보는 수평 방향에서 대신 위치되는 픽셀들로부터 얻어지는 정보와 마찬가지로 더 중요하게 기대되거나 덜 중요하게 기대된다. 따라서, 긴 만큼 넓은 이웃지역--예를 들면, 사각형 이웃지역--을 사용하는 것이 바람직하다. 더욱이, 모든 세기 감도 특성(예를 들면, 모든 노출 레벨)은 각각의 이웃지역에서 동일 배수로 발생되어야 바람직하다. 심지어 모든 노출에 대하여, 길이와 넓이(오히려 홀수)를 가지는 이웃지역이 이 조건을 만족한다. 예를 들면, 도 19에 도시된 이웃지역 S_p(i,j)는 길이와 넓이를 가지는 사각형의 이웃지역이다. 높은 동적 범위 값은 오 프 그리드(off-grid) 이웃지역 센터(i+0.5, j+0.5)에서 계산된다.

행렬 곱

은 지역의 두 픽셀 사이의 상관 관계(correlation)를 의미한다. 그러나, 많은 경우에, 행렬 곱 항(term)을 사용하는 것--즉, 명백하게 상관 관계 항을 계산하고 포함하는--은 기술의 정확도와 효율성에 크게 영향을 주지 않으며, 이것은 (공간적 위치 또는 다른 차원에서) 가까이 있는 장면 복사(radiance)들이 본래 서로 관련되기 쉽기 때문이다. 바람직한 매핑 함수--보다 간단하고 그러므로 계산하기 쉬운--다음과 같이 주어진다.

도 19가 사각형의 4×4 이웃지역을 도시하였음에도 불구하고, 본 발명에 따른 방법은 떠한 크기와 형태를 가지는 이웃지역에도 적용할 수 있으며, 온-그리드(on-grid) 장소 또는 오프-그리드(off-grid) 장소에 위치되는 픽셀의 값을 계산하는데 사용될 수 있다.

각 국부 패턴 P에 대하여, [수학식 4]가 도 14에 도시된 바와 같은 행렬 형태로 표현될 수 있다.

여기서, 행렬 A_p의 각 행은 국부 패턴 타입 P를 가지는 이웃지역 M_p의 픽셀 값들의 거듭제곱을 포함한다. A_p의 각 행은 다항식 차수 N_p까지의 픽셀 값의 거듭 제곱을 포함한다. C_p는 국부 패턴 P를 가지는 이웃지역에서 각 픽셀에 해당하는 다항식 계수를 포함하는 열 벡터이다. B_p는 각 P에 대해 요구되는 오프센터 이웃지역 센터 값들 H_p을 포함하는 열 벡터이다.

서로 다른 국부 노출 패턴에 해당하는 매핑 함수들은 가중 최소 제곱기술(a weighted least squares technique)을 사용하여 추정된다. 그러한 기술의 한 예는 가중 평균 수식(weighted normal equation)을 푸는 것이다.

여기서, W_p는 각각의 이웃지역 1차 식에 가중치를 부여하는 대각선(diagonal) 행렬이다. 가중 최소 제곱(least square) 용어법(terminology)에서,

는 "가중 평균 행렬"로 명명될 수 있으며,

는 "가중 회귀 벡터"로 명명될 수 있다.

다항식 매핑 함수에서 계수의 수는 다음과 같이 산출될 수 있다.

는 이웃지역 크기를 나타내고, N_p는 국부 노출 패턴 P에 해당하는 다항식 차수를 나타낸다고 하자. SVE 이미지에서 개별적 국부 패턴의 수를 P라고 하자. 계수의 수 ｜C｜는 다음과 같은 수식으로 주어진다.

예를 들면, P=4(예를 들면, 4개의 서로 다른 픽셀 노출을 가지는 SVE 검출기), p=1, …, P 에 대해 N_p=2, 그리고

(즉, 길이와 넓이를 가지는 사각형의 이웃지역)인 경우, 계수의 수는 292개이다.

본 발명에 따른 알고리즘은 높은 동적 범위 센서를 사용하여 캡쳐된 다수의 서로 다른 이미지를 처리하여 국부 다항식 매핑 함수를 학습(즉, 최적화)하는데 사용될 수 있다. 그 다음에, 최적화된 매핑 함수를 사용하여, 높은 동적 범위 이미지들이 SVE에 의하여 캡쳐된 다른 이미지들로부터 재구성될 수 있다. 훈련 단계에서, 훈련 알고리즘은 높은 동적 범위 이미지를 사용하여, 지역 패턴(예를 들면, 도 17에 도시된 패턴(1701∼1704))의 각각의 타입에 대한 국부 다항식 매핑 함수의 계수를 추정한다.

도 20은 본 발명에 따른 예시적인 훈련 단계의 순서도를 나타낸다. 도 20에 도시된 예에서, 필름 카메라에 의해 캡쳐되고 슬라이드 스캐너(slide scanner)에 의해 스캔된 12비트의 이미지(2024)를 사용하여 훈련이 수행된다. 이미지들의 세기(intensity)가 센서의 전체적인 노출시의 변화(change)를 시뮬레이션하기 위하여 측정(scale)된다(단계2002). SVE 검출기의 함수와 매칭되는 응답 함수(2004)가 훈련 이미지에 적용된다. 다음에, 각각의 이미지 이웃지역의 타입으로 각각의 노출 패턴 타입에 대하여 알고리즘(즉, 최적화된 모델 파라미터)을 훈련시키기 위하여, 측정된(scaled) 이미지가 병진 이동된다(translationally shifted).(즉, 소정 위치로 시프트됨)(단계 2006). 이어서, SVE 마스크(2008)가 훈련 이미지(2026)에 적용 되어 12 비트의 SVE 이미지(2012)가 생성된다(단계2010). 다음에(단계 2014에서), 255의 최대 세기 레벨에서 데이터를 클리핑(clipping)하여 12 비트 SVE 이미지(2012)를 강등하고(즉, 선명도가 떨어지고), 다음에 데이터를 매핑하거나 재양자화하여 8 비트 이미지 M을 생성한다(도 20에서의 아이템 2028). 위에 기술된 강등 과정은 낮은 동적 범위를 가지는 SVE 센서를 시뮬레이트(simulate)한다. 이미지 M으로부터 도 14에 도시된 바와 같이, 각 패턴 P에 대하여 이웃지역 A_p의 집합이 추출된다. 동일하게, 열 벡터 B_p는 훈련 이미지 H로부터 추출된다. 다수의 서로 다른 세기 감도(예를 들어, 도 17에서 e1, e2, e3, 및 e4)에서의 비대칭을 피하기 위하여, 길이와 넓이를 가지는(오히려 홀수) 사각형의 이웃지역을 사용하는 것이 바람직하다. 길이 및/또는 넓이를 가지는 이웃지역의 센터는 도 19에 도시된 바와 같이, 오프 그리드 장소에 있다. 초래되는 1/2 픽셀 오프셋을 보상하기 위하여, 훈련 이미지들은 1/2 픽셀씩 상쇄된다(offset). 고화질 이미지의 고유 샘플링이 신호 재구성을 위한 Nyquist의 기준을 고수하지 않는다면, 오프셋은 이미지를 더욱 흐리게 할 수 있으며, 이에 따라 흐린(blurry) 또는 부드러운(smooth) 이미지와 장면을 위해 계수가 최적화된다. 보다 선명한 이미지와 장면을 위한 최적화가 요구되면, 초기 고해상도 이미지는 선명한 특징으로 선명한 장면을 표현해야 하며, Nyquist의 기준에 적합하게 샘플링되어야 한다. 그러나, 선명한 이미지의 향상은 전형적으로 부드럽고 및/또는 흐린 이미지의 향상 보다 더 정확한 모델을 요구한다. 더욱이, 선명한 이미지가 방대한 양의 부드러운 영역(smooth area)을 포함하 는 경향이 있다. 그러므로, 훈련시에, 알고리즘에 의해서 향상될 이미지의 선명도 레벨을 알 수 있는 방법이 없으면, 훈련시에 선명한 이미지를 사용하는 것이 바람직하다. 이것은 모델의 정확도가 이미지를 보다 선명하게 향상시키는데 가장 중요하며, 어떤 경우에, 선명한 훈련 이미지가 부드럽고 및/또는 흐린 이미지를 또한 향상시킬 수 있는 충분한 부드러운 영역을 포함하기 쉽기 때문이다.

SVE 데이터에서 임의 국부 패턴 타입에 속하는 모든 이웃지역이 표준화된다. 표준화는 먼저 각각의 p 타입의 이웃지역의 각 데이터로부터의 p 타입인 모든 이웃지역 A_p의 평균 에너지를 감산하고, 다음에 상기 데이터를 A_p(i)의 에너지로 나누는 것에 의해 이루어진다. 수학적으로, 표준화 단계는 다음과 같이 나타낼 수 있다.

여기서, 에너지 A_p(i)는 도 14에 도시된 행렬 A_p의 i^th 행 벡터의 선택된 부분의 크기(magnitude)이다. i^th 행 벡터의 선택된 부분은 이웃지역 픽셀 값의 1차 거듭 제곱(first power)을 포함하는 부분이다. 훈련 데이터 B_p는 유사하게 표준화된다.

표준화(단계 2016) 후에, 가중 최소 제곱 과정(단계 2018)이 가중 평균 행렬

과 오른쪽 회귀 벡터

를 계산하는데 사용된다. 최소 제곱 과정(2018)에서, 모든 훈련 이미지에 대하여, 평균 행렬 및 회귀 벡터가 각각 부가적으로 누적된다(단계 2020). 다음에 최소 제곱 결과가 계산된다(단계 2022). 모든 높은 동적 범위 이미지가 다중 노출과 다중 병진 이동(multiple translational shift)의 훈련을 포함하는 훈련에 사용되면, [수학식 6]을 사용하여 각각의 이웃지역 타입에 대하여 다항식 매핑 함수의 계수 C_p(도 20에서의 아이템 2032)가 계산된다(단계 2030).

도 21에 도시된 예인 재구성 단계에서, 재구성 알고리즘은-훈련 단계에서 계산된-다항식 계수(2032)를 낮은 동적 범위의 8 비트 SVE 센서를 이용하여 캡쳐된 SVE 이미지에 적용한다. 훈련 알고리즘과 동일하게, 재구성 알고리즘은 각각의 국부 패턴 P에 해당하는 각각의 이웃지역 A_p를 표준화한다(단계 2104). 계수 C_p(아이템 2032)는 다음에 각각의 표준화된 이웃지역 패턴에 적용되어, B_pnorm=A_pnormC _p가 획득된다(단계 2106). 이어서, B_pnorm이 역표준화(즉, 비표준화)되어 B_p를 획득한다(단계 2108). SVE 기술은 장면 세기의 비균일 양자화를 사용하기 때문에, 알고리즘은 SVE 검출기 마스크에 사용되는 다수의 이산(discrete) 노출에 따라, 역 표준화된 데이터를 비균일하게 양자화하여(단계 2110), 재구성된 높은 동적 범위 이미지(2112)를 획득한다.

본 발명에 따른 SVE 방법은 원 장면의 넓은 다양성을 나타내는 다섯 개의 높 은 동적 범위(12비트) 훈련 이미지를 사용하여 테스트되었다. 매핑 계수의 "훈련"(즉, 최적화)를 위해, 도 20의 순서도에 도시된 바와 같이, 각각의 훈련 이미지가 강등(즉, 선명도가 떨어짐)되어 8비트 SVE 이미지가 획득된다. SVE 이미지의 생성을 위해 서로 다른 노출(e₁=4e₂=16e₃=64e₄)을 사용하여 각각의 훈련 이미지가 캡쳐되었으며, 다음에 도 17에 도시된 SVE 마스크 1706에 따라 조합되었다. 차수 3의 국부 다항식 매핑 함수의 계수는 가중 최소 제곱 기술을 사용하여 계산되었다. 재구성을 위해 6개의 12 비트 SVE 테스트 이미지-훈련시에 사용된 이미지들과는 다름-를 강등하여8비트 SVE 이미지를 생성하였다. 이에 따라 얻어진 계수는 도 21에 도시된 순서도에 따라, 강등된 8비트 SVE 이미지에 적용되었다. 도 36은 위에 기술된 과정의 결과와 복수-3차식(bi-cubic) 삽입 과정을 비교한 히스토그램 그래프이다. 두 개의 히스토그램의 비교에 따라 본 발명의 방법이 보다 많은 낮은 에러의 픽셀과 보다 적은 높은 에러의 픽셀을 초래함을 알 수 있다.

앞서 기술한 예에서, 국부적 비동질 세기 특성은 특정 타입-구체적으로, 광 세기에 대하여 센서 출력이 의존성을 가지는 타입-의 것이다. 그러나, 본 발명에 따르면 다른 감도 특성 타입들이 국부적 비동질 측정 패턴을 형성하는데 사용될 수 있다. 예를 들면, 감도 특성들은 신호 파장(예를 들면, 컬러)에 대하여 측정 감도가 의존성을 가지는 타입일 수 있다. 더욱이, 특성 타입은 입력되는 광의 편광에 대하여 측정 감도가 의존성을 가지는 타입일 수 있다.

몇몇 경우에, 픽셀의 개선에도 불구하고 동일한 계수를 사용하면, 구조 모델 은 최적의 결과를 초래할 수 없다. 이것은 특히 장면의 다중 속성이 동시에 샘플링되는 경우에 발생되기 쉽다. 도 2에 그러한 예가 도시되어 있다. 예시된 측정 패턴의 시험(examination)은 그리드 상의 서로 다른 픽셀이 서로 다른 국부 샘플링 패턴을 가질 수 있음을 보여준다. 예를 들면, 도 2를 참조하여, 본 발명에 따른 알고리즘이 제1 픽셀(202)과 이웃하는 제2 픽셀(204)의 이웃지역에서 고품질 R, G, 그리고 B 값을 얻기 위해 사용된다고 가정하자. 제1 픽셀(202) 주위에 노출 및 공간 필터의 국부 패턴이 이웃하는 픽셀(204) 주위의 패턴과는 다를 수 있다. 그러므로, 하나의 균일한 구조 모델-즉, 이웃하는 픽셀 주변의 감도 패턴을 무시하는 모델-이 3개의 예시된 컬러 채널마다 모든 픽셀에서 이미지의 휘도를 예측하는데 사용되면, 모델이 다수의 모델 계를 가지는 것을 제외하고는, 부정확한 결과가 얻어질 수 있다. "컴팩트(compact)"-즉, 적은 수의 계수를 가지는-하고 효과적인 모델을 얻기 위해서 하나의 계수 집합을 다양한 국부 샘플링 패턴을 사용하여 캡쳐된 데이터를 조정하되 사용하는 것은 바람직하지 않다. 각각의 국부 샘플링 패턴에 대하여 서로 다른 모델 계수 집합을 사용하는 것이 보다 나은 결과를 얻을 수 있다. 이미지 값이 일반적으로 하나의 반복되는 패턴을 사용하여 샘플링되기 때문에, 일반적으로 적은 수의 샘플링 패턴이 존재한다. 따라서, 단지 적은 수의 구조 모델(또는 모델 계수)이 일반적으로 요구된다. 관심 있는 특정 픽셀이 주어지면, 상기 특정 픽셀의 국부 이웃지역에서 발생되는 특정 샘플링 패턴에 적절한 구조 모델이 적용된다.

대부분의 디지털 컬러 센서는 이미지를 캡쳐하기 위해 하나의 검출기 어레이 를 사용한다. 어레이에서 각각의 검출기는 특정 파장 범위-예를 들면, 적색, 녹색 또는 청색-- 내에서 입력되는 광의 세기를 측정하는 이미지 픽셀에 해당한다. 즉, 컬러 필터들이 검출기 어레이 상에 공간적으로 삽입된다. 그러한 컬러 모자이크는 공간 가변 컬러(SVE) 모자이크로 명명될 수 있다. 다양한 패턴의 컬러 필터들이 센서 어레이 상에 오버레이드(overlaid)될 수 있다. 본 발명에 따른 알고리즘은 훈련된 국부 다항식 매핑 함수를 사용하여 고화질 컬러 이미지를 생성할 수 있다. 여기서 본 발명의 컬러 모자이크 방법이 싱글 칩, 컬러 CCD 카메라들에 대해서 주로 기술되어도, 본 발명의 방법은 임의 특정 컬러 센서에 한정되지는 않는다.

싱글 칩 CCD 카메라의 검출기 어레이 상의 컬러 필터들은 다양한 방법으로 배치된다. 각 픽셀 주변의 영역은 "이웃지역"으로 명명될 수 있다. 모든 이웃지역들은 "국부 패턴"으로 명명될 수 있는 공간적으로 가변하는 컬러 패턴을 포함한다. 전체 검출기 어레이에 대하여 국부 패턴을 복제하여 전체 이미지 모자이크가 창조(create)된다. 어떤 경우에는, 국부 패턴이 오버랩핑(overlapping) 방법으로 배치될 수 있다.

위의 개념은 디지털 카메라 산업에 주로 사용되는 두 개의 간단한 모자이크를 참조하여 설명될 수 있다. 도 10에 도시된 첫 번째 타입은 일반적으로 열 모자이크로 명명된다. 이 모자이크 타입은 균일하게, 도 10에 R, G. B와 같이 라벨이 붙어 있는 적색, 녹색, 청색 채널을 행마다 삽입한다. 모자이크를 형성하기 위해서, R, G, B 감도의 1×3 패턴(1004)이 전체 픽셀 어레이에 대하여 반복된다. 도 10에 예시된 모자이크에서, 각 R, G, B 채널의 상대적인 공간 해상도는 33%이다. 이제 도 10에서 이웃지역(1001, 1002, 및 1003)에 대하여 고려해 보자. 유사한 크기와 형상을 가지는 임의 다른 이웃지역들은 반드시 국부 패턴들(1001,1002,1003) 중의 하나에 해당하며, 이것은 이러한 패턴들이 단지 도 10에 도시된 열 모자이크에 대해서 실행 가능한 국부 3×3 이웃지역 패턴이기 때문이다. 일반적으로, 3-컬러 열 모자이크 CCD는 이웃지역의 형상과 크기에도 불구하고, 단지 3개의 개별적인 국부 이웃지역 패턴을 가진다.

통상 베이어 모자이크(Bayer-Mosaic)로 언급되는 보다 일반적인 타입의 모자이크는 서로 다른 컬러에 대한 휴면 비쥬얼 시스템의 감도를 고려한다. 사람의 눈이 적색 또는 청색의 광보다는 녹색 광에 더 민감하다는 것은 잘 알려져 있다. 따라서, 베이어 모자이크는 상대적으로 녹색 픽셀에 50%의 공간 해상도를 설정하고, 적색과 청색 픽셀에 25%의 공간 해상도를 설정하며, 그 결과 사람 눈에 덜 그레이니(grainy)하게 보이는 이미지가 생성된다. 그러한 모자이크의 예가 도 11에 도시되어 있다. 예시된 모자이크는 전체 이미지에 대하여 반복되는 2×2 패턴을 포함한다. 도 11에 도시되어 있듯이, 다양한 이웃지역에서의 서로 다른 타입의 국부 패턴은 2×2 패턴의 행과 열이 개별적으로 순환 시프트한 것에 해당한다. 따라서, 베이어 모자이크에서, 2×2보다 크거나 같은 크기를 가지는 모든 이웃지역들이 4개의 가능한 국부 패턴 중의 하나에 속하는 것으로 분류될 수 있다. 이러한 4개의 패턴들(1105∼1108)이 도 12에 예시되어 있다. 도 11에서, 패턴(1101∼1104)은 베이어 모자이크 CCD에서 가능한 4개의 서로 다른 타입의 국부 패턴을 나타내는 3×3 이웃지역의 예이다. 본 발명의 바람직한 실시예에서, 베이어 모자이크가 사용되지 만, 이 기술은 열 모자이크 패턴이나 다른 타입의 모자이크에도 효과적이다.

어떤 종래 시스템에서, 싱글 칩 CCD에서 캡쳐된 이미지에 존재하지 않는 R, G, B 값을 계산하는데 보간법(interpolation)이 사용된다. 각각의 컬러 채널에 대하여 보간법이 개별적으로 수행된다. 그러나, 그러한 방법은 이웃하는 장면 지점의 컬러 사이의 상관 관계를 고려하지 못하며, 그러한 상관 관계는 실제 장면에서 발생하기 쉽다. 반대로, 본 발명에 따른 방법은 공간 차원뿐만 아니라 파장 및/또는 시간 등의 다른 차원에서의 실제 장면의 상관 관계를 이용하는 국부 함수를 발달시키며, 국부 함수를 사용하여, 베이어 모자이크 입력은 고화질 RGB 이미지로 매핑될 수 있다.

측정된 SVC 데이터(예를 들어, 베이어 CCD에 의해 캡쳐된 데이터)가 M이라고 하자. 요구되는 고화질 RGB 이미지 H는 구조 모델(또는 매핑 함수)의 집합(일반적으로 12)을 사용하여 M으로부터 재구성될 수 있으며, 여기서 구조 모델은 각각의 이웃지역들의 4개의 고유 국부 패턴을 가지는 컬러 채널 λ의 각각의 가능한 조합 중의 하나이다. M_p가 특정 국부 패턴 p에 속하는 M의 이웃지역이라고 표시하자. 다음에 이웃지역 센터에서 요구되는 컬러 값은 다음과 같이 추정될 수 있다.

여기서, S_p(i.j)는 픽셀 (i,j)의 이웃지역이다(도 13 참조). N_p는 다항식 매 핑의 차수이다. C_p는 각각의 컬러 채널 λ에 대한 국부 패턴 p의 다항식 계수의 집합을 나타낸다. 전형적으로, 수직 방향에서 픽셀(i,j) 대신에 위치되는 픽셀들로부터 얻어지는 정보는 수평 방향에서 대신 위치되는 픽셀들로부터 얻어지는 정보와 마찬가지로 더 중요하게 기대되거나 덜 중요하게 기대된다. 따라서, 긴 만큼 넓은 이웃지역-예를 들면, 사각형 이웃지역-을 사용하는 것이 바람직하다. 더욱이, 모든 파장 감도 특성(예를 들면, 모든 컬러)은 각각의 이웃지역에서 동일 배수로 발생되어야 바람직하다. 심지어 모든 컬러에 대하여, 또는 심지어 다수의 픽셀을 가지는 모자이크 패턴에 대하여, 길이와 넓이(오히려 홀수)를 가지는 이웃지역이 이 조건을 만족한다. R, G, B 값이 오프 그리드(off-grid) 이웃지역 센터(i+0.5, j+0.5)에서 계산된다.

행렬 곱

은 명백하게 지역의 두 픽셀 사이의 상관 관계를 의미한다. 그러나, 많은 경우에, 행렬 곱항을 사용하는 것은 기술의 정확도와 효율성에 크게 영향을 주지 않는다. 이것은 (공간적 위치 또는 다른 차원에서) 가까이 있는 장면 복사가 본래 서로 관련되기 쉽기 때문이다. 바람직한 매핑 함수는 보다 간단한 것이며, 다음과 같이 주어진다.

즉, 저품질 SVC 데이터 내에서 이웃지역의 각각의 온 그리드 픽셀에 대하여 다항식이 계산되고, 이웃지역에서 모든 픽셀의 다항식을 모아서(즉, 가산하여) 오 프 그리드 센터 픽셀에 해당하는 고품질(즉, 고해상도) 컬러 값이 생성된다. 일반적으로, 위에 기술된 방법은 어떤 크기나 형상을 가지는 이웃지역에도 사용될 수 있으며, 또한 온 그리드 계산에도 사용될 수 있다.

각각의 λ와 각각의 국부 패턴 P에 대하여, [수학식 11]에 정의된 매핑 함수가 도 14에 도시된 바와 같은 행렬 형태로 표현될 수 있다.

여기서, 행렬 A_p의 각 행은 국부 패턴 타입 p를 가지는 이웃지역 M_p의 픽셀 값들의 거듭제곱을 포함한다. A_p의 각 행은 다항식 차수 N_p까지의 픽셀 값의 거듭 제곱을 포함한다. C_p(λ)는 컬러 λ와 국부 패턴 p에 대한 각각의 이웃지역 픽셀들의 다항식 계수를 포함하는 열 벡터이다. B_p(λ)는 각각의 λ와 p에 대해 요구되는 오프-그리드 이웃지역 센터 값들 H_p(λ)을 포함하는 열 벡터이다. 인덱스 λ는 식의 간결(brevity)을 위해 제거될 수(drop) 있으며, 매핑 함수의 추정이 [수학식 13]과 같이 가중 최소 제곱의 문제만으로 될 수 있다.

여기서, W_p는 각각의 이웃지역 1차 식에 가중치를 부여하는 대각선 행렬이다. 최소 제곱 용어법에서,

는 "가중 평균 행렬"로 명명될 수 있으며,

는 "가중 회귀 벡터"로 명명될 수 있다.

[수학식 11]의 매핑 함수에서 계수의 수는 다음과 같이 산출될 수 있다.

는 이웃지역 크기를 나타내고, N_p는 패턴 p에 해당하는 다항식 차수를 나타낸다고 하자. SVE 이미지에서 개별적 국부 패턴의 수를 P라고 하자. Λ는 컬러 채널의 수를 나타낸다고 하자. 다음에, 계수의 수｜C｜는 다음과 같은 수식으로 주어진다.

예를 들면, P=4(예를 들면, 베이어 모자이크 CCD), p=1, …, P 에 대해 N_p=2, u=v=6(즉, 길이와 넓이를 가지는 사각형의 이웃지역), 그리고 Λ=3인 경우, 계수의 수는 292개이다. 이미지 재구성을 위해, 다수의 계수들은 종래의 보간법 기술보다는 현저하게 많은 융통성(flexibility)을 제공한다.

본 발명에 따른 알고리즘은 다수의 고화질 RGB 이미지를 사용하여 국부의 다항식 매핑 함수의 파라미터를 학습(즉, 최적화)할 수 있다. 최적화된 매핑 함수는 모든 픽셀에 대해 단 한번의 컬러 채널 측정을 수행하는 베이어 모자이크 CCD를 사용하여 캡쳐된 이미지로부터 고화질의 컬러 이미지를 재구성할 수 있다.

훈련 단계에서, 훈련 알고리즘은 고화질의 RGB 이미지를 사용하여 각 형태의 국부 패턴 및 각 컬러 채널용 국부 다항식 매핑 함수의 계수를 추정한다. 도 15는 본 발명의 실시예에 따른 훈련 단계의 순서도를 도시한다. 도시된 예에서 훈련 알 고리즘은 필름 카메라를 사용하여 캡쳐되거나 또는 슬라이드식 스캐너를 사용하여 스캐닝된 고화질의 컬러 이미지(1502)로부터 시작한다. 실제 CCD 배열에 의해 캡쳐된 이미지를 시뮬레이션하도록 이미지를 강등하기 위해서, 훈련 이미지(1506)는 전형적인 CCD 배열의 성능 및 제한을 시뮬레이션하는 응답 함수(1504)를 통해 고화질 이미지(1502)를 처리하여 생성된다. 다음, 예를들어 베이어-모자이크 이미지일 수 있는 SVC 이미지 M(도 15에서 도면부호 1514)은 컬러 모자이크 패턴(1510)에 따라 고화질 이미지(1502)로부터 대응되는 컬러 채널 값을 제거함으로써 시뮬레이션된다(단계 1512). 알고리즘은 시뮬레이션된 SVC 이미지 M(도면부호 1514)으로부터 도 1에 도시된 바와 같이, 각 패턴 p에 대해 이웃지역들의 집합 A_p(도면부호 1528)를 추출한다. 각 이웃지역은 국부 패턴 형태 p(예를 들어, 도 11에서 패턴 1101-1104 참조)를 갖는다. 마찬가지로, 각 컬러 채널에 대해 열 벡터 B_p(도면부호 1530)는 훈련 이미지 H(도면부호 1502)로부터 추출된다. 이웃지역에서 레드(red) 및 블루(blue) 픽셀이 기본 베이어 패턴에서 동일한 비율로 표현된다는 것을 보장하기 위해 길이 및 폭이 (홀수보다 오히려) 짝수인 이웃지역을 사용하는 것이 바람직하다. 길이 및/또는 폭이 짝수인 이웃지역의 중심은 도 13에 도시된 바와 같이 그리드를 벗어난 위치(오프-그리드(off-grid))에 있다. 따라서 0.5 픽셀 오프셋 보상을 위해, 알고리즘은 훈련 이미지(1506)를 0.5 픽셀만큼 오프셋 적용한다(단계 1508). 만약 고화질 이미지의 최초 샘플링이 신호 재구성을 위해 나이키스트 표준(Nyquist's criteria)만을 사용하는 것이 아니면 0.5 픽셀 오프셋은 추가 블러 링(blurring)을 훈련 이미지에 사용할 수 있다. 이러한 블러링은 표면이 현저하게 부드러운 흐린 입력 이미지 및/또는 장면에 대해 보다 최적화된 모델 계수를 도출할 수 있다. 장면이 현저하게 선명하고 거친 특징을 가지는 날카로운 이미지에 대한 모델 최적화가 요구되는 경우, 나이키스트 표준에 일치하도록 샘플링되고 현저하게 선명하고 거친 특징을 가지는 장면을 나타내는 이미지로부터 시작하는 것이 바람직하다. 그러나, SVE 알고리즘에 관해 상기한 바와 같이, 훈련 시기에 알고리즘에 의해 후에 향상될 이미지의 선명도의 수준을 알 수 없는 경우, 이미지의 선명도를 향상시키는데에서 모델의 정확도가 가장 중요하기 때문에 훈련에서는 선명한 이미지를 사용하는 것이 바람직하다. 어쨌든 선명한 훈련 이미지는 이미지의 유연성 및/또는 불선명성을 향상시킬 수 있을 정도로 충분히 부드러운 영역을 포함한다.

알고리즘은 SVE 알고리즘에 관해 상기한 바와 같이, SVC 데이터 내에 있는 각 이웃지역 A_p(i)을 정규화한다(단계 1516). 정규화 후에, 가중 정규화 행렬

및 우측면 회귀 벡터

를 산출하기 위해 가중 최소 제곱(weighted least square) 절차(단계 1518)가 사용된다. 이러한 최소 제곱 절차(1518)에서 각 훈련 이미지에 대해 가중 정규화 행렬 및 가중 회귀 벡터가 더하여 누적된다(단계 1520). 그 후 최소 제곱 결과가 산출된다(단계 1518). 일단 모든 훈련 이미지가 처리되면, 알고리즘은 각 형태의 이웃지역 패턴 p 및 각 컬러 채널에 대해 다항식의 매핑 함수의 계수 C_p를 결정하기 위해 [수학식 13]을 사용한다( 단계 1524).

재구성 단계-도 16에 도시된 예-에서 재구성 알고리즘은 다항식 계수(1526)-훈련 단계에서 산출되었음-를 베이어-모자이크 CCD를 사용하여 캡쳐된 SVC 이미지(1602)에 적용한다. 즉, 알고리즘은 픽셀당 단 하나의 컬러 채널 측정만을 수행하는 SVC 이미지로부터 픽셀당 세 개의 컬러 채널값을 가지는 고화질 이미지(1610)를 산출한다. 이러한 재구성은 "역모자이크화(demosaicing)"라고 할 수 있다. 훈련 단계에서와 마찬가지로, 재구성 단계에서 SVC 이미지의 각 이웃지역이 정규화된다(단계 1604). 그 후 계수 C_p가 각 정규화 이웃지역 패턴 및 각 컬러 채널에 적용되어 B_pnorm = A_pnomC_p가 얻어진다(단계 1606). 그 후 B _pnom는 역정규화되어(단계 1608) 재구성된 고화질 컬러 이미지(1610)가 얻어진다.

본 발명에 따른 SVC 훈련 알고리즘은 매우 다양한 자연의 장면을 표현하는 30개의 고화질 컬러 이미지를 사용하여 테스트되었다. 각 훈련 이미지는 도 15의 순서도에 도시된 바와 같이, 각 픽셀로부터 2개의 컬러 채널을 제거함으로써 강등되어 SVC 이미지가 얻어진다. 그 후 국부 2차 다항식 매핑 함수의 계수가 가중 최소 제곱 절차를 사용하여 산출되었다. 다음, 20개의 테스트 이미지-훈련 단계에서 사용된 이미지와 다름-가 시뮬레이션되고 저화질인 SVC 이미지를 생성하기 위해 강등되었다. 모델 계수는 도 16의 순서도에 따라 시뮬레이션된 저화질 테스트 이미지에 적용되었다. 도 35의 히스토그램 그래프에 도시된 바와 같이, 본 발명의 구조적 재구성 방법은 종래의 큐빅 보간법(cubic interpolation)에 비해 저오류 픽셀 이 많아지고, 고오류 픽셀이 적어진다.

본 발명의 바람직한 실시예에 따르면, 국부적으로 불균일한 측정 패턴은 상이한 형태의 감도 특성(sensitivity characteristic)을 가지는 국부적으로 불균일한 패턴의 조합을 포함할 수 있다. 예를 들면, 도 6a에 도시된 바와 같이, 측정 패턴은 강도(intensity) 감도 패턴 및 파장(예를 들어 컬러) 감도 패턴의 조합일 수 있다. SVE 패턴 및 SVC 패턴의 조합으로 이루어지는 이러한 패턴은 공간적으로 변하는 컬러 및 노출(SVEC:Spatially Varying Color and Exposure) 패턴이라 할 수 있다. 도 6a에 도시된 예에서, 측정 패턴은 세 개의 센서 영역(602, 604, 606)을 포함한다. 도 5는 도 6a의 패턴을 사용하여 신호를 측정하는 절차의 실시예를 도시하고 있다. 제1 영역(602)은 장면(도 1 참조)에서 객체(126)의 영역(640)으로부터 하나 이상의 신호를 포함하는 제1 신호 집합(620)을 수신한다(도 5에서 단계 502).

제1 센서 영역(602)은 제1 신호 집합(602)의 제1 측정 집합(적어도 하나의 측정을 포함함)을 수신한다. 도 6a에 도시된 측정 패턴에서, 제1 영역(602)은 그린(green) 광에 대한 감도를 포함하는 제1 감도 특성을 갖는다. 또한, 제1 센서 영역(602)은 광 강도에 높은 감도를 포함하는 제2 감도 특성(648)을 갖는다.

제2 검출기 집합(604)은 장면의 제2 영역(642)으로부터 제2 신호 집합(622)을 수신하여 측정한다(단계 506, 508). 제2 검출기 집합(604)은 또한 그린 광에 민감하다-즉, 센서는 제1 검출기 집합(602)과 동일한 제1 감도 특성을 갖는다. 또한, 제2 검출기 집합(604)은 제2 신호 집합(622)에 관하여 제3 감도 특성을 가지 며, 제3 감도 특성(650)은 어느정도 광 강도에 덜 민감하다. 제3 검출기 집합(606)은 장면의 제3 영역(644)으로부터 제3 신호 집합(624)을 수신하여 측정한다(단계 510, 512). 제3 검출기 집합(606)은 제3 신호 집합(624)에 관하여 제4 감도 특성(652)을 갖는다. 이러한 예에서, 제4 감도 특성(652)은 제1 감도 특성(646), 즉 선택된 파장의 집합(여기서는 레드 광)에 대한 감도와 동일한 형태를 갖는다. 또한, 도 6a에 도시된 예에서, 제3 검출기 집합(606)은 광 강도에 민감도가 매우 저감된 제5 감도 특성(654)을 갖는다. 제5 감도 특성(654)은 각각 제1 및 제2 검출기 집합(602, 604)의 제2 및 제3 감도 특성(648, 650)과 동일한 형태이다. 즉 광 강도에 특정 레벨의 감도를 갖는다. 일단 제1, 제2 및 제3 신호 집합이 측정되면, 본 발명에 따른 구조 모델이 결과 데이터의 해상도를 향상시키는데 사용되어 출력 데이터의 해상도가 보다 높아진다(도 5의 단계 514).

본 발명에 따라 국부적으로 불균일한 측정 패턴의 다른 실시예에 따르면, 검출기 집합은 중복 마스크에 의해 형성될 필요는 없으나, 대신에 도 6b에 도시된 바와 같이 각 검출기가 자신의 감도 특성을 가지는 다중 검출기로로부터 형성될 수 있다. 도시된 측정 패턴에서, 제1 검출기 집합은 신호 파장에 관하여 측정 감도에 의존하는 형태를 가지는 감도 특성(646)을 갖는 검출기(616)를 포함한다. 즉, 검출기(616)는 그린 광에 민감하다. 제1 검출기 집합은 또한 신호 강도에 관하여 측정 출력에 의존적인 형태를 갖는 감도 특성(648)을 가지는 검출기(618)를 포함한다. 즉, 이 경우 검출기(618)에서는 강도 감도가 저감되지 않는다. 마찬가지로 제2 검출기(604)는 각각 컬러 감도 형태 및 강도 감도 형태인 감도 특성(646, 650) 을 갖는 2개의 검출기(632, 634)를 포함한다. 마찬가지로 제3 검출기(606)도 각각 컬러 감도 형태 및 강도 감도 형태인 감도 특성(646, 654)을 갖는 검출기(636, 638)를 포함한다. 도 6a 및 6b에 도시된 측정 패턴이 세 개의 검출기 집합만을 포함하지만, 측정 패턴으로 사용될 수 있는 검출기 집합의 수에는 제한이 없다. 예를 들면, 도 6c 및 도 6d에 도시된 바와 같이, 본 발명에 따른 국부적으로 불균일한 패턴의 바람직한 실시예에서 베이어 패턴은 국부적으로 불균일한 강도 감도 특성 패턴과 함께 사용될 수 있다. 도 6c에 도시된 예에서, 네 개의 검출기 집합(608, 602, 610, 604)은 각각 다양한 컬러 감도 특성(662, 646, 656, 646)을 갖는다. 또한, 검출기 집합(608, 602, 610, 604)은 각각 다양한 강도 감도 특성(664, 648, 660, 650)을 갖는다. 또한, 도 6d에 도시된 바와 같이, 상이한 강도 감도 특성 패턴이 사용될 수 있다. 예를 들면, 도 6c에 도시된 예에서, 레드 및 블루 검출기 집합(608, 610)은 고 감도의 광 강도에 대응되는 강도 감도 특성(664, 660)을 갖는다. 그러나, 도 6d에 도시된 예에서, 레드 및 블루 검출기 집합(608, 610)은 감도가 감소된 광 감도에 대응되는 강도 감도 특성(666, 668)을 갖는다.

기본 SVEC 패턴은 전체 이미지 SVEC 패턴을 생성하는데 사용될 수 있다. 예를 들어, 도 22에 도시된 픽셀의 배열을 참조한다. 계조 레벨은 픽셀 노출을 나타내고, 대문자 R, G, B는 여러 픽셀에서 측정된 컬러 채널을 나타낸다. 이러한 전체 이미지 SVEC 모자이크를 생성하는 한 방법으로는 초기 패턴을 형성하기 위해 소규모의 이웃지역 내에 컬러 감도 및 휘도(즉, 강도) 감도를 할당하는 것이고, 그 후 전제 검출기 배열에 대해 초기 패턴을 반복하는 것이다. 도 22에 도시된 예에서, 4×4 초기 패턴(2201)인 정사각형은 전체 검출기 배열에 대해 반복된다. 그러나, 일반적으로, 초기 패턴은 임의 크기를 갖는 컬러 및 노출 모자이크일 수 있다. 검출기 배열 전체에 대해 이러한 초기 패턴을 반복함으로써, 개별 형태의 국부 패턴(2201-2216)의 수가 초기 패턴(2201)의 개별 순환 이동에 대응된다는 이점이 있다. SVEC 이미지화에서, 컬러 및 동적 범위는 공간 위치의 함수로써 동시에 샘플링되고, 그 결과로써 SVEC 모자이크 내에 있는 국부 패턴이 SVC 모자이크 또는 SVE 모자이크 중 하나의 국부 패턴보다 복잡해진다.

특정 응용에 종속되어 임의의 특성을 가지는 SVEC 모자이크를 생성하는 방식으로 다양한 노출 및 컬러가 각 픽셀에 할당되는 것이 바람직하다. 임의의 특성은 다음의 파라미터에 의해 정의될 수 있다.

1. 길이 u, 폭 v, 및/또는 화면비율(aspect ratio)에 따라 정의된 이웃지역의 크기 및 형상

2. 임의의 이웃지역 내에 있는 R, G, B 영역의 수, 및 컬러에 민감한 각 영역의 상대 위치

3. 상이한 노출(즉, 강도 감도)의 수 e와, 상기 이웃지역 내에 있는 각 노출 감도 영역의 값 및 상대 위치

4. 각 노출값에 할당된 R, G, B의 수

예를 들면, 상기한 바와 같이, 대부분 이웃지역의 길이 및 폭은 바람직하게 동일하다(즉, a=1). 크기에 관해서는, 이웃지역의 크기가 작을수록 "보다 작은" 구조를 가지는 이미지에 대해 보다 좋은 결과를 제공하는 경향이 있다. 즉, 휘도가 유닛의 거리에 대해 급격하게 변한다. 그 이유는 이러한 이미지에 대해 보다 이격되어 있는 픽셀사이의 상관성이 감쇠되어 크기가 큰 이웃지역이 크기가 작은 이웃지역보다 훨씬 많은 정보를 제공하지 못하기 때문이다. 또한, 상기한 바와 같이, 짝수의 엘리먼트를 가지는 모자이크에 대해 이웃지역이 짝수 길이 및 짝수 폭을 가지는 것이 바람직하다.

노출 레벨의 수 e에 관해서는, 그 수가 높으면 높을수록 더 높은 동적 범위를 제공할 수 있다. 상이한 노출 레벨 사이의 비율에 관해서는, 비율이 높을수록 전체 검출 가능한 범위의 크기가 커지고, 따라서 검출 가능한 휘도 레벨이 조잡하게 이격되어 배치된다. 바람직하게는, 노출 레벨의 비율은 검출 가능한 휘도의 전체 범위가 장면에서 나타나며 관심 부분이 되는 휘도 레벨의 범위와 일치하도록 선태되어져야 한다.

이웃지역 중 한 위치(예를들어, 상단 우측 코너)에 대부분의 고감도의 픽셀이 위치하지 않고, 상이한 위치(예를들어 하단 좌측 코너)에 대부분의 저감도 픽셀이 위치하지 않도록 다양한 노출 레벨이 분배되는 것이 바람직하다. 이러한 바람직한 배열은 적어도 이웃지역의 모든 영역에 있는 일부 픽셀이 인접하거나 또는 근처에 있는 픽셀이 신호를 검출하기 위해 포화되거나 또는 사용이 불가능해지더라도 입력되는 신호를 정확하게 검출하는 유사도를 증가시킨다.

컬러 패턴에 관해서는, 많은 시스템에서, 베이어 모자이크(도 11에 도시됨)가 검출 배열에 대한 컬러 분배를 위해 선택되는 것이 바람직하며, 그 이유로는 이러한 패턴이 사람의 눈의 감도와 일치하기 때문이고, 또한 대부분의 디지털 카메라가 이러한 패턴을 사용하기 때문이다. 이러한 패턴이 사용되는 경우, 도 11에 도시된 바와 같이, 크기 u, x, v를 갖는 각 국부 이웃지역 내에서는 R, G, B의 공간 해상도가 각각 25%, 50%, 25%이다.

|R|=|B|=0.25uv, |G|=0.5uv.

[수학식 15] 및 베이어 패턴에 의하면, 이웃지역의 길이 u 및 이웃지역의 폭 v가 모두 짝수라는 것이 쉽게 증명될 수 있다. 또한, 각 이웃지역에서 상이한 각 노출 레벨에 대해 각 컬러는 베이어 패턴에서 컬러가 발생하는 회수와 동일한 회수만큼 발생하는 것이 바람직하다. 따라서,

|R|=|B|=ke, |G|=2ke,

4ke=uv

여기서, R과 B는 각 노출 k회만큼 결합되고, G는 각 노출 2k회만큼 결합되며, k, e, u는 양의 정수이다. 또한, 이웃지역의 화면비율 a에 의해

4ke = au²

이다.

모델에 필요한 계수의 수를 최소화하기 위해 상기 조건을 만족하는 가장 작은 국부 SVEC 패턴을 찾는 것이 바람직하다. 노출에 대해 고정된 수 e, 고정된 화면비율 a, 국부 패턴의 최소 크기 u는 [수학식 7]을 만족하는 k에 대해 가장 작은 정수에 대응된다. 예를 들어, e=2이고, a=1 인 경우(즉, 이웃지역이 정사각형인 경우), 전체 검출기 배열에 대해 반복을 필요로 하는 가장 작은 이웃지역이 크기 u=4(k=2에 대응됨)를 갖는다. 마찬가지로, e=4이고, a=1인 경우, 결과 파라미터는 u=4이고, k=1이다. 도 22에 도시된 예시적인 이미지 패턴은 e=4(즉, 4개의 상이한 계조 레벨) 및 베이어 컬러 모자이크를 사용한다. 전체 이미지 패턴을 생성하기 위해, 4×4 정사각형 이웃지역(2201)이 전체 배열에 대해 반복된다.

상기 결과에 의해 노출 감도값의 수와 바람직한 국부 이웃지역 패턴의 크기 사이의 관계가 설정된다. 또한, 각 이웃지역에서의 공간적 컬러 배열이 결정된다. 상기 조건을 사용하는 경우, 다양한 노출 감도값이 국부 패턴 내에 있는 여러 픽셀에 대해 할당될 수 있다.

본 발명의 바람직한 실시예에서, 낮은 동적 범위의 베이어-모자이크 SVEC 이미지는 최적화된 국부 다항식 매핑 함수를 사용하여 높은 동적 범위 컬러 이미지에 매핑된다. 매핑 함수는 학습된 구조 모델에 의해 도출된다.

측정 데이터-여기에서 SVEC 센서를 사용하여 캡쳐된 데이터-를 M으로 나타내자. 높은 동적 범위 컬러 이미지 H는 구조 모델의 집합(즉, 국부 매핑 함수)을 사용하여 M으로부터 재구성될 수 있다. 각 컬러 채널 λ에 대해, 국부 매핑 함수는 16가지 형태의 국부 이웃지역 패턴 p(도 22에 도시된 패턴(2201-2216)) 각각에 대해 최적화된다. M_p는 특정 국부 패턴 p에 속하는 M의 이웃지역이라 하자. 그러면, 이웃지역의 중심에서 요구되는 높은 동적 범위 컬러값은 다음의 [수학식 18]로 추정될 수 있다.

여기서 S_p(i,j)는 도 23에 도시된 픽셀 (i,j)의 이웃지역이다. N_p는 다항식 매핑의 차수이다. C_p는 각 컬러 채널 λ에 대해, 각 이웃지역 픽셀 (x,y)에서의 패턴 p의 다항식 계수를 나타낸다. 이와 같이 예시된 구현은 짝수 길이 및 짝수 폭을 갖는 정사각형 이웃지역을 사용한다. 높은 동적 범위 컬러값은 도 23에 도시된 바와 같이, 그리드를 벗어나 위치하는 이웃지역의 중심 (i+0.5,j+0.5)에서 산출된다. 이러한 방법은 이웃지역의 임의 크기 및 형상에 대해 사용될 수 있으며, 또한 그리드를 벗어난 위치/영역 및 그리드 내의 위치/영역(즉, 픽셀) 모두에서 이미지 값을 산출하는데 사용된다는 것에 유의해야 한다. 또한 비교적 간단한 매핑 함수-[수학식 18]-가 이러한 예시적인 구현에 사용되더라도, 알고리즘은 SVE 및 SVC 환경에서 상기한 바와 같이, [수학식 3] 및 [수학식 10]과 같은 보다 일반적인 매핑 함수를 사용할 수 있다.

SVE 및 SVC 절차와 마찬가지로, [수학식 18]은 도 14에 도시된 바와 같이, 각 국부 패턴 p에 대한 행렬에 의해 표현된다.

여기서, A_p는 국부 패턴형 p에 속하는 이웃지역 M_p의 픽셀값의 멱(power)을 포함하는 행렬의 각 행(row)이다. A_p는 다항식의 차수 N_p까지의 픽셀값의 멱을 포함한다. C_p(λ)는 컬러 λ 및 국부 패턴형 p에 대한 각 이웃지역 픽셀의 다항식 계수를 포함하는 열 벡터이다. B_p(λ)는 각 λ 및 p에 대해 높은 동적 범위를 가지며 그리드를 벗어나 위치하는 이웃지역의 중심 컬러값 H_p(λ)를 나타내는 열 벡터이다. 인덱스 λ는 표현을 간단히 하기 위해 생략될 수 있으며, 매핑 함수의 추정은 가중 최소 제곱으로 문제화할 수 있다.

여기서, W_p는 이웃지역에 대한 각 선형 방정식을 가중화하는 대각 행렬이다.

다항식 매핑 함수에서 계수의 수는 다음과 같이 산출될 수 있다. u×v가 이웃지역의 크기 및 형상을 나타낸다고 하고, N_p는 국부 SVEC 패턴 p에 대응되는 다항식의 차수를 나타낸다고 하자. P는 SVEC 이미지에서 개별 이웃지역패턴의 수를 나타낸다고 하자. 그러면, 계수의 수 |C|는 다음의 [수학식 21]에 의해 주어진다.

예를 들어, LAMBDA =3(예를 들어, 컬러 R, G, B에 대해)이고, P=16(4개의 상이한 픽셀 노출 및 베이어 컬러 모자이크를 사용하는 SVEC 검출기에 대해)이며, p=1...P에 대해 N_p=2이고, u=v=6(즉, 짝수 길이 및 폭을 갖는 정사각형 이웃지역)인 경우, 계수의 수는 3504이다.

본 발명에 따라 화질을 향상시키는 모델 기반의 방법은 [수학식 4], [수학식 11] 및 [수학식 18]의 매핑 함수 사이의 유사도에 의해 증명되고, 또한 SVC, SVE 및 SVEC 표기 및 방법의 기재 사이의 유사도에 의해 증명된 바와 같이, 이미지 복사의 차원을 임의로 동시에 샘플링하는데 적용될 수 있다.

본 발명에 따른 SVEC 알고리즘은 높은 동적 범위 컬러 센서에 의해 캡쳐된 여러 이미지를 사용하여 국부 다항식 매핑 함수를 학습할 수 있다. 따라서, 결과 매핑 함수는 SVEC 센서에 의해 캡쳐된 다른 이미지로부터 높은 동적 범위 컬러 이미지를 재구성하는데 사용될 수 있다. 알고리즘의 훈련 단계에서, 국부 다항식 매핑 함수의 계수는 높은 동적 범위 컬러 이미지를 사용하여 이웃지역 패턴의 각 형태-(예를 들어, 도 22에서의 패턴 2201-2216)-에 대해 추정된다. 도 24는 본 발명에 따른 예시적인 SVEC 훈련 단계의 순서도를 도시한다. 도시된 예에서, 필름 카메라에 의해 캡쳐되고 슬라이드식 스캐너에 의해 스캐닝된 12비트 컬러 이미지(2402)를 사용하여 훈련이 수행된다. 각 이미지(2402)의 강도는 센서에 의해 캡쳐된 이미지의 전체 노출에서의 변화를 시뮬레이션하기 위해 측정된다(단계 2404). 알고리즘은 SVEC 검출기의 이미지를 일치시키는 응답함수(2406)를 측정된 이미지에 적용한다. 결과 이미지는 바람직하게, 노출 패턴의 각 형태와 이미지 이웃지역의 각 형태의 모든 가능한 조합을 사용하여 매핑 함수 파라미터를 훈련(최적화)시키기 위해 병렬로 이동된다(단계 2408). 이동 단계(2408)의 출력은 훈련 이미지(2410)의 집합이다. SVC 마스크(2412) 및 SVE 마스크(2418)는 12비트 SVEC 이미지(2422)를 생성하기 위해 각 훈련 이미지에 적용된다(단계 2416, 2420). 도시된 예에서, SVC 마스크(2412)가 먼저 적용되어(단계 2414), SVC 중간 데이터(2416)를 생성한다. 그러나, SVE 마스크가 먼저 적용될 수 있다. 각 12비트 SVEC 이미지(2422)는 강도 레벨 255에서 픽셀 데이터를 잘라서 강등시킨 후, 8비트 이미지 M(도면부호 2426으로 도시됨)을 생성하기 위해 데이터를 재양자화한다. 상기한 절차는 낮은 동적 범위 SVEC 센서를 시뮬레이션한다. 이미지 M(도면부호 2426)으로부터, 이웃지역 집합 A_p가 도 14에 도시된 바와 같이, 각 패턴 p에 대해 추출된다. 각 컬러 채널 및 국부 패턴에 대해 열 벡터 B_p가 훈련 이미지 H로부터 추출된다. 도시된 예에서 짝수 길이 및 폭을 가는 정사각형 이웃지역이 사용된다. SVC 및 SVE 알고리즘과 마찬가지로, SVEC 알고리즘에서 훈련 이미지는 0.5 픽셀에 의해 오프셋된다(단계 2430). 또한, SVE 및 SVC 알고리즘에 관해 상기한 바와 같이, 훈련 시기에 알고리즘에 의해 후에 향상되는 이미지의 선명도의 레벨을 알 수 없는 경 우, 모델의 정확도가 보다 선명한 이미지를 얻는데 가장 중요하기 때문에 훈련시 선명한 이미지를 사용하는 것이 바람직하다. 어쨌든 선명한 훈련 이미지는 유연하고 흐린 이미지를 향상시킬 수 있도록 충분히 유연한 영역을 포함한다.

SVE 및 SVC 알고리즘에서와 마찬가지로, 국부 SVEC 패턴 형태 중 하나에 속하는 각 이웃지역의 데이터는 [수학식 8] 및 [수학식 9]를 사용하여 정규화된다. 정규화 후에, 가중 정규화 행렬

및 우측면 회귀 벡터

를 산출하기 위해 가중 최소 제곱 절차(2432)가 사용된다. 최소 제곱 절차(2432)에서, 각 훈련 이미지에 대해, 정규화 행렬 및 회귀 벡터가 각각 덧셈을 통해 누적된다(단계 2434). 일단 훈련 알고리즘이 높은 동적 범위 컬러 이미지-각 이미지에 대해 다중 노출 및 다중 병렬 이동을 포함함- 모두에 대해 처리되면, 최소 제곱 결과가 얻어지고(단계 2436), [수학식 20]을 사용하여 이웃지역 패턴 p의 각 형태 및 각 컬러 채널 λ용 다항식 매핑 함수의 계수 C_p를 산출하는데 사용된다(단계 2438).

도 25에 도시된 예인 재구성 단계에서, 알고리즘은 낮은 동적 범위(예를 들어 8비트)의 베이어-모자이크 SVEC 센서를 사용하여 캡쳐된 SVEC 이미지(2502)에 최적화된 다항식 계수를 적용한다. 훈련 절차와 마찬가지로, 재구성 알고리즘은 SVEC 이미지에서 각 국부 패턴 p에 대응되는 각 이웃지역 A_p를 정규화한다(단계 2504). 그 후, 계수 C_p(도면부호 2440)는 각 컬러 채널에 대해 정규화된 각 이웃지역 패턴에 적용되어 B_pnorm=A_pnormC_p가 얻어진다(단계 2506). 그 후, 알고리즘은 B_pnorm 을 역정규화한다(단계 2508). SVEC 패턴이 장면 복사의 비균일 양자화에 기초하기 때문에 역정규화된 데이터는 SVEC 검출기 마스크에서 사용된 개별 노출의 수에 따라 비균일하게 양자화되어 재구성된 높은 동적 범위 컬러 이미지(2512)를 생성한다.

본 발명에 따른 SVEC 알고리즘은 4개의 상이한 노출 하에서 취해진 10개의 높은 동적 범위 컬러(컬러 채널당 12비트) 훈련 이미지를 사용하여 테스트된다. [이를 확인하기 위해] 훈련 이미지는 폭 넓은 자연의 장면을 표현한다. 12비트 각 훈련 이미지의 각 픽셀에 대해, 알고리즘은 2개의 컬러 채널로부터의 정보를 삭제하여 각 픽셀을 단일의 컬러 픽셀로 변환한다. 이러한 절차의 결과가 12비트 SVC 이미지 집합이다. 그 후 각 장면의 4가지 노출에 대응되는 12비트 SVC 이미지는 도 22에 도시된 SVEC 노출 패턴에 따라 결합된다. 그 후 결과 12비트 SVEC 이미지는 도 24의 순서도에 도시된 바와 같이, 8비트 SVEC 이미지를 생성하도록 강등된다. 다음 국부 다항식 매핑 함수(3차)의 계수가 가중 최소 제곱 기술을 사용하여 산출된다. 다음, 10개의 테스트 이미지-훈련에서 사용되는 이미지와 상이함-가 8비트 SVEC 테스트 이미지를 생성하기 위해 강등된다. 그 후 훈련 절차에서 생성된 계수를 사용하여 모델이 도 25의 순서도에 따라 8비트 SVEC 테스트 이미지에 적용된다. 도 34의 히스토그램 그래프는 본 발명의 구조적 재구성 알고리즘의 결과와 바이-큐빅(bi-cubic) 간섭 절차의 결과를 비교한다. 그래프에 의해 도시된 바와 같이, 구조 모델이 보다 많은 저-오류의 픽셀 및 보다 적은 고-오류의 픽셀을 생성한다.

비록 상기 예들이 공간적 2차원(즉, 수직 및 수평 차원)에서 배열된 강조 측정 패턴을 가지지만, 본 발명에 따른 측정 패턴이 공간적 차원으로만 한정될 필요는 없다. 특히, 비디오 응용에서, 도 6E 및 도 6F에 도시된 바와 같이, 공간과 시간 모두에 관해서 국부적으로 불균일한 측정 패턴을 사용하는 것이 바람직하다. 도 6E에서 비디오 프레임은 첫 번째 시간인 T1에서 취해진다. 이 비디오 프레임은 장면의 두 영역(640, 642)에서 복사되는 광의 측정을 포함한다. 영역(640, 642)은 공간과 시간 모두에서 그들의 위치에 의해 한정된다. 도 6F에서 두 번째 비디오 프레임은 두 번째 시간인 T2에서 수신되고, 이 두 번째 비디오 프레임은 장면에서 두 개의 다른 위치(670, 644)에서 수신되는 광의 측정을 포함한다. 도 6E 및 도 6F에 도시된 예에서, 위치(640, 670)는 공간적으로는 동일한 위치이지만 시간 차원에서는 상이한 위치이다. 마찬가지로, 위치(642, 644)는 공간적으로 동일한 위치이지만 시간 차원으로는 상이한 위치이다.

위치(640, 642, 644)의 측정은 예를 들면, 도 6A에 도시된 바와 같이, 수직 공간 차원(패턴 엘리먼트 602, 604에 의해 정의된 바와 같음) 및 시간 차원(패턴 엘리먼트 604, 606에 의해 정의된 바와 같음)에서 국부적으로 불균일한 측정 패턴을 사용하여 행해진다.

본 발명에 따른 알고리즘은 도 6E 및 도 6F에 도시된 다중 프레임 이미지 데이터와 같은 데이터의 시간 해상도를 향상시키기 위해 사용될 수 있다. 연속한 이미지들 사이에서 이동 객체(690)의 공간적 병진 이동은 그 이미지들이 캡쳐된 주파수(즉, 프레임 비율)에 종속된다. 본 발명의 구조 모델은 비디오 시퀀스의 효과적 인 시간 프레임 비율을 향상(증가)시키기 위해 사용될 수 있다. 실제로, 그 모델은 최초 캡쳐된 프레임들 사이에 추가 프레임을 삽입하는데 사용된다. 시간 해상도 향상을 달성하기 위해 구조 모델은 이미지에서 두 프레임 사이의 휘도 변화가 어느 정도 발생예정인 지를 예측한다.

실제 또는 합성의 시간 해상도가 높은 데이터 중 어느 하나가 모델 파라미터를 최적화하는데 사용될 수 있다. 이러한 시간 해상도가 높은 데이터는 움직임에서 다양한 형태의 객체 중 높은 프레임 비율을 갖는 비디오 시퀀스에 대응된다. 해상도가 높은 데이터는 측정 데이터를 합성하기 위해 시간 해상도에서 강등된다. 이 경우 국부 패턴은 3차원 블록의 픽셀 값에 대응되며, 각 블록은 공간 및 시간 위치의 범위를 갖는다. 예를 들어 도 28을 참조하면, 이러한 블록(2814)은 도 28에 도시된 바와 같이, 3×3 공간 윈도우(전체 36개의 측정 값)인 4개의 비디오 프레임(2802, 2804, 2806, 2808)를 포함할 수 있다. 중간 프레임(2812)에서 픽셀 값(2810)은 해상도가 높은 이미지 데이터로 구성된다. 해상도 향상 알고리즘은 고화질의 이미지 데이터 값(2810)을 36개의 측정값(2814)의 다항식 함수로써 표현한다. 이러한 구조 모델은 완전한 중간 이미지 프레임을 예측하는데 사용된다. 따라서, 구조 모델의 집합은 많은 중간 프레임을 예측할 수 있기 때문에 임의의 캡쳐된 비디오 시퀀스의 시간 해상도를 증가시킬 수 있다.

또한, 본 발명에 따른 알고리즘은 상이한 노출을 사용하여 캡쳐된 이미지의 시퀀스의 형태로 이미지 데이터의 해상도를 향상시키는데 사용될 수 있다. 이러한 시퀀스는 수많은 기술을 사용하여 캡쳐될 수 있다. 예를 들면, 사용자는 카메라의 구경 또는 노출 설정을 간단히 변경할 수 있으며, 각 설정을 사용하여 별개의 이미지를 캡쳐할 수 있다. 또한, 카메라 자체는 일련의 이미지를 신속하게 연속적으로 취하기 위해 다중 집적 시간(multiple integration times)을 사용할 수 있다. 이들 두 방법은 어느 방법이나 도 26에 도시된 일련의 형태를 생성한다. 도시된 시퀀스(2606)는 동적 범위가 높은 이미지를 생성하기에 충분한 정보를 포함한다. 그 이유로는 매우 밝은 장면 영역은 최소 노출 이미지(2602)에서 포화없이 캡쳐될 것이고, 매우 어두운 영역은 가장 높은 노출 이미지(2604)에서 매우 선명하게 캡쳐될 것이기 때문이다. 본 발명에 따른 다항식 모델은 각 픽셀의 상이한 노출에 대응되는 휘도값의 집합으로부터 동적 범위가 높은 단일 값으로 매핑을 산출하는데 사용될 수 있다. 측정 데이터가 포화 효과를 포함하고, 데이터를 캡쳐하는데 사용된 센서의 복사(radiometric) 응답 함수가 요구되는 고화질 이미지의 응답 함수와 다르더라도, 본 발명의 알고리즘은 출력 이미지의 각 픽셀에 대해 동적 범위가 높은 값을 생성할 수 있는 강력한 다항식 모델을 최적화할 수 있다. 또한, 입력 및 출력 이미지는 컬러 정보를 포함할 수 있다. 컬러 이미지의 경우, 매핑은 컬러 채널의 각각에 대해 별개로 행해질 수 있다. 이와는 달리, 매핑 방법은 휘도 데이터만을 위해 사용될 수 있으며, 이 경우 각 픽셀의 컬러는 불포화( 및 너무 어둡지 않은) 측정값 중 하나로부터 선택될 수 있다.

상기한 내용이 이미지 픽셀의 중요한 속성으로 강조된 휘도 및 컬러를 가지더라도 장면으로부터 반사된 광은 편광 상태를 나타낸다. 이미지화된 광의 편광 상태는 장면에서 거울같은 반사의 존재 및 반사 표면의 물질 특성과 같은 유용한 정보를 전달한다. 상기한 바와 같이, 상이한 선형 편광각을 갖는 편광 필터는 이미지 검출기의 픽셀을 덮는데 사용될 수 있다. 예를 들면, 편광 필터는 베이어 모자이크에서 그린 컬러 필터 모두에 추가될 수 있다. 장면 위치의 편광 상태는 인접한 픽셀로부터 편광 데이터를 사용하여 산출될 수 있다.

본 발명에 따르면, 편광 데이터의 해상도는 구조 모델을 사용함으로써 향상될 수 있다. 도 30은 이미지 검출기 배열 상에서의 편광 및 컬러 필터의 예시적인 배열을 도시한다. 수집된 이미지는 컬러 및 편광 정보 모두를 포함한다. 본 발명에 따른 알고리즘은 레드, 그린, 블루의 고화질 값 및 편광 상태를 추정하기 위해 픽셀의 작은 규모의 이웃지역을 사용하는 구조 모델을 훈련시킨다. 상기한 SVEC 알고리즘에서와 같이, 도 30에 도시된 편광 패턴을 발생하는 4개의 상이한 국부 패턴이 있다. 따라서, 4개의 구조 모델 집합이 추정되고, 각 집합은 4개의 모델 구성요소를 포함하며, 하나의 구성요소는 레드, 그린, 블루 및 편광각 데이터에 해당된다. 구조 모델은 편광 측정의 공간적 상관성 및 컬러 측정의 공간적 상관성을 통합한다. 또한, 모델은 컬러 채널과 편광 측정 사이의 상관성을 통합한다.

컬러가 특히 관심 대상이 아닌 경우, 상이한 편광 필터를 갖는 단색 검출기가 사용될 수 있다. 이러한 시스템에서, 구조 모델은 단순히 이미지의 각 지점에서의 휘도값 및 편광 상태를 추정한다.

상기한 내용은 컬러 감도 특성의 국부적으로 불균일한 패턴과 강도 감도 특성의 국부적으로 불균일한 패턴의 조합을 포함하는 측정 패턴의 사용을 강조하는 것이다. 그러나, 이러한 내용은 결합될 수 있는 측정 패턴의 수를 제한하는 것을 의미하는 것은 아니다. 예를 들면, 도 7에 도시된 바와 같이, 컬러 감도(특성 706, 708), 강도 감도(특성 710, 712) 및 편광 감도(특성 714, 716)의 패턴을 결합하는 것이 바람직하다. 또한, 도 7에 도시된 예에서 각각 단일 검출기를 포함하는 검출기 집합(702, 704)을 포함하더라도, 각 검출기 집합(702, 704)이 도 6B에 도시된 검출기 집합(602, 604, 606)과 마찬가지로 다중 검출기로 형성될 수 있다.

다중 특성의 경우, 발생되는 다양한 형태의 패턴을 포함하기 위해 여러 구조 모델이 사용된다. 이러한 방법은 도 3에 도시된 예시적인 패턴과 같은 경우에 적용될 수 있으며, 이 경우 이미지 데이터는 강도 및 스펙트럼 속성의 공간 및 시간 샘플링을 포함한다. 구조 모델은 공간, 강도, 스펙트럼 및/또는 시간 해상도가 향상되는 고화질의 이미지 데이터를 예측하는데 사용된다.

또한, 본 발명에 따른 재구성 알고리즘은 가시 스펙트럼 내에 있는 광의 패턴을 나타내는 이미지 데이터로 제한되지 않는다. 여기에서 기재된 기술은 임의의 전자기 방사 또는 적외선(IR) 이미지화, X-레이 이미지화, 자기 공명(MR) 이미지화, 합성 개구 레이더(SAR:Synthetic Aperture Radar) 이미지화, 입자 기반 이미지화(particle-based imaging)(예를 들어, 전자 현미경) 및 음향(예를 들어 초음파) 이미지화를 포함하지만 이에 한정되지 않는 임의의 다른 복사의 이미지화에 적용될 수 있다.

또한 본 발명에 따른 방법은 이미지의 공간 해상도를 향상시키는데 사용될 수 있다. 캡쳐된 이미지는 이론적이고 고화질의 이미지의 저해상도 버전으로 고려되어 질 수 있다. 구조 모델은 하나 이상의 저해상도 이미지의 국부 이웃지역들을 상기한 고화질의 이미지의 픽셀로 고려되어 질 수 있는 해상도가 높은 단일 값으로 매핑하는데 사용될 수 있다. 이러한 기술의 예가 도 27에 도시되어 있다. 이미지의 각 픽셀(2702)은 측정된 휘도값에 의해 표현된다. 알고리즘은 측정된 픽셀값의 국부 이웃지역(2704)이 픽셀 그리드 상에 놓여 있지 않는 새로운 위치(2706)에 대해 가장 유사한 값을 추정하는데 사용하도록 해상도 상승 동작을 수행한다. 그 절차는 최초 측정된 이미지에 비해 네배 많은 픽셀을 갖는 이미지를 생성하도록 전체 이미지에 대해 반복된다. 정보 이론은 이러한 해상도 상승이 종래 기술을 사용하여 수행될 수 없다는 것을 암시한다. 특히, 모델 계수는 훈련 절차에서 학습된 전형적인 장면의 지식을 통합한다.

상기한 예와 마찬가지로, 공간 해상도 향상 알고리즘은 훈련 절차를 수행하는 고해상도 이미지 집합을 사용한다. 훈련 이미지는 해상도에서 강등된다. 그 후 알고리즘은 측정치의 국부(예를 들어 3×3 또는 5×5) 이웃지역들을 새로운 위치 중 하나에 위치한 고화질 데이터에 매핑하기에 적합한 다항식 구조 모델의 파라미터를 최적화한다. 각 구조 모델은 새로운 고화질 값 각각에 대해 산출된다. 이 예에서, 세 개의 구조 모델이 사용되며, 새로운 위치(2706)의 각각에 해당된다. 이들 모델은 함께 임의로 주어진 측정 이미지의 해상도 상승을 가능하게 한다. 게다가, 상기 예에서 컬러가 아닌 휘도 데이터의 집합의 공간 해상도의 향상이 포함되더라도, 그 기술은 두 개 이상의 컬러 채널을 나타내는 데이터에 적용될 수 있다. 세 개의 컬러 채널-전형적으로 R, G 및 B-에 대해, 전체 9개의 구조 모델이 사용되는 것이 바람직하다.

본 발명에 따른 알고리즘은 또한 이미지 데이터의 스펙트럼 해상도를 향상시키는데 사용될 수 있다. 이론상, 장면의 지점은 임의의 스펙트럼 분포 함수-즉, 파장의 함수로써 임의의 반사율-를 가질 수 있다. 그러나, 실제로는 객체 표면을 생성하는 자연 및 인공 물리 처리 절차에서 표면 반사율의 스펙트럼 분포가 유연해지고 또한 잘 다듬어지는 경향이 있다. 결과적으로, 적은 수의 스펙트럼 표본-예를 들어 협대역 스펙트럼 필터를 사용하여 수행된 측정-은 넓은 범위의 조도 조건하에서 커다른 종류의 실세계 표면의 완전한 스펙트럼 분포를 정확하게 예측할 정도로 충분할 수 있다. 도 29는 상이한 스펙트럼 필터를 사용하여 캡쳐된 예시적인 장면의 여러 이미지를 도시한다. 이러한 이미지들은 또한 고화질의 다중 스펙트럼 이미지를 사용하여 합성될 수 있다. 상대적으로 낮은 스펙트럼 해상도를 갖는 실제 또는 합성된 이미지들은 측정된(또는 합성된) 이미지들 사이에 놓여 있는 파장에 대한 휘도값을 예측할 수 있는 구조 모델을 개발하여 최적화하는데 사용된다. 이러한 방법은 종래의 (R-G-B) 컬러 카메라를 사용하여 캡쳐된 이미지에 기초하여 장면 포인트의 스펙트럼 분포의 추정을 판단할 수 있다. 바람직한 실시예로, 재구성을 위해 사용된 측정 데이터의 이웃지역(2902)은 공간 및 스펙트럼 차원 둘다로 정의된다. 이러한 실시예에서는 이웃지역에 위치하는 장면 포인트들의 스펙트럼 분포 사이의 상관성을 이용함으로써 각 이미지 위치에서의 스펙트럼 분포를 보다 높은 화질로 재구성하여 제공할 수 있다.

도 1 내지 31의 방법들이 도 4, 5, 9, 15, 16, 20, 21, 24, 25에 의해 정의된 바에 적합한 소프트웨어의 제어하에 다양한 표준 컴퓨터 플랫폼에서 구현될 수 있다는 것은 당업자에 의해 이해될 것이다. 대개의 경우, 종래 개인용 컴퓨터에서의 주변 카드와 같은 전용 컴퓨터 하드웨어는 상기 방법에서의 동작의 효율성을 향상시킬 수 있다.

도 32 및 33은 본 발명을 구현하기에 적합한 전형적인 컴퓨터 하드웨어를 도시한다. 도 32를 참조하면, 컴퓨터 시스템은 처리 섹션(3210), 디스플레이(3220), 키보드(3230) 및 모뎀과 같은 통신 주변 장치(3240)를 포함한다. 이 시스템은 또한 이미지 매체(3200)를 스캐닝하는 광학 스캐너(3250)와 같은 기타 입력 장치를 또한 포함한다. 또한, 이 시스템은 프린터(3260)를 포함할 수 있다. 이 컴퓨터 시스템은 전형적으로 데이터 및 응용 소프트웨어를 저장히기 위해 자기 매체(즉, 디스켓) 또는 광학 매체(예를 들어, CD-ROM 또는 DVD)와 같은 컴퓨터 판독 가능 매체에 읽기 및 쓰기가 가능한 하나 이상의 디스크 드라이브(3270)를 포함한다. 도시되지는 않았지만, 디지털 포인터(예를 들어, 마우스)와 같은 기타 입력 장치 및 이와 유사한 것들이 또한 포함될 수 있다.

도 33은 처리 섹션(3210)을 상세하게 도시한 기능 블록도이다. 처리 섹션(3210)은 일반적으로 처리부(3310), 제어 로직(3320) 및 메모리부(3330)를 포함한다. 바람직하게, 처리 섹션(3210)은 또한 타이머(3350) 및 입력/출력 포트(3340)를 포함할 수 있다. 처리 섹션(3210)은 또한 처리부에서 사용되는 마이크로프로세서에 종속되는 코프로세서(3360)를 포함할 수 있다. 제어 로직(3320)은 처리부(3310)와 함께 동작하여 메모리부(3350)와 입력/출력 포트(3340) 사이의 통신을 처리하는데 필요한 제어를 수행한다. 타이머(3350)는 처리부(3310)와 제어 로직(3320)에 대한 시간 참조 신호를 제공한다. 코프로세서(3360)는 암호화 알고리즘에 의해 요구되는 계산과 같이 실시간으로 복소수 계산을 수행하는 능력을 향상시켜준다.

메모리부(3330)는 휘발성 및 비휘발성 메모리와 판독만 가능하고 프로그램 가능한 메모리와 같은 상이한 형태의 메모리를 포함할 수 있다. 예를 들면, 도 33에 도시된 바와 같이, 메모리부(3330)는 ROM(3331), EEPROM(3332) 및 RAM(3333)을 포함할 수 있다. 다른 컴퓨터 프로세서, 메모리 구성, 데이터 구조 및 이와 유사한 것들이 본 발명에서 사용될 수 있으며, 본 발명은 특정 플랫폼에 한정되지 않는다. 예를 들면, 처리 섹션(3210)이 컴퓨터 시스템의 일부로써 도 32 및 33에 도시되어 있지만, 이 처리 섹션(3210) 및/또는 그 구성요소가 디지털 비디오 카메라 또는 디지털 스틸 이미지 카메라와 같은 영상 장치에 포함될 수 있다.

도 4, 5, 9, 15, 16, 20, 21, 24 및 25에 의해 한정된 소프트웨어는 다양한 프로그래밍 언어로 작성될 수 있으며, 이것은 당업자에 의해 쉽게 이해될 것이다. 본 발명에 따른 예시적인 소프트웨어는 5.3.1 버전의 Matlab^TM 언어로 작성되었다. 예시된 SVEC, SVC 및 SVE 알고리즘에 대한 컴퓨터 소스 코드는 다음과 같다.

본 발명에 따르면, 처리 경향이 강한 전형적인 이미지 특징에 관한 정보를 이용하여 데이터의 해상도를 향상시킴으로써 비용이 저감되는 효과가 있다.

Claims (76)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 데이터 해상도 향상에 이용을 위한 모델을 학습하는 방법으로서,

    복수의 고화질 이미지들을 처리하는 이미지 처리 단계로서, 훈련 데이터를 생성하도록 상기 복수의 고화질 이미지의 각각에 대해 시뮬레이팅된 검출기 응답 함수를 적용하는 단계와, 감소된 화질 데이터를 생성하도록, 상기 훈련 데이터에 국부적으로 불균일한 모자이크 패턴 함수를 적용하는 단계와, 상기 감소된 화질 데이터의 가중 정규 행렬를 계산하는 단계와, 행렬합에 상기 가중 정규 행렬을 부가하는 단계, 상기 감소된 화질 데이터의 회귀 벡터(regression vector)를 계산하는 단계와, 벡터합에 상기 회귀 벡터를 부가하는 단계를 포함하는, 상기 이미지 처리 단계;

    누적된 정규 행렬을 결정하도록 상기 행렬합을 이용하는 단계;

    누적된 회귀 벡터를 결정하도록 상기 벡터합을 이용하는 단계; 및

    향상된 해상도 데이터를 생성하기 위한 모델의 계수 행렬을 결정하도록 최소 제곱 방정식(a least squares equation)의 해를 구하는 단계로서, 상기 최소 제곱 방정식은 제1 측과 제2 측을 포함하며, 상기 제1 측은 상기 누적된 정규 행렬과 상기 계수 행렬의 곱을 포함하며, 상기 제2 측은 상기 누적된 회귀 벡터이며, 상기 계수 행렬은 다항식 함수의 계수를 포함하는, 상기 최소 제곱 방정식의 해를 구하는 단계

    를 포함하는 방법.
11. 제10항에서,

    상기 이미지 처리 단계는, 상기 가중 정규 행렬을 계산하는 단계 및 상기 회귀 벡터를 계산하는 단계 전에 상기 감소된 화질 데이터를 강등(downgrade)시키는 단계를 더 포함하는 방법.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 데이터 해상도 향상에서 이용을 위한 모델을 학습하는 장치로서,

    복수의 고화질 이미지들을 처리하는 제1 프로세서로서, 훈련 데이터를 생성하도록 상기 복수의 고화질 이미지의 각각에 대해 시뮬레이팅된 검출기 응답 함수를 적용하는 제2 프로세서, 감소된 화질 데이터를 생성하도록, 상기 훈련 데이터에 국부적으로 불균일한 모자이크 패턴 함수를 적용하는 제3 프로세서, 상기 감소된 화질 데이터의 가중 정규 행렬를 계산하는 제4 프로세서, 행렬합에 상기 가중 정규 행렬을 부가하는 제5 프로세서, 상기 감소된 화질 데이터의 회귀 벡터(regression vector)를 계산하는 제6 프로세서, 및 벡터합에 상기 회귀 벡터를 부가하는 제7 프로세서를 포함하는, 상기 제1 프로세서;

    누적된 정규 행렬을 결정하도록 상기 행렬합을 이용하는 제8 프로세서;

    누적된 회귀 벡터를 결정하도록 상기 벡터합을 이용하는 제9 프로세서; 및

    향상된 해상도 데이터를 생성하기 위한 모델의 계수 행렬을 결정하도록 최소 제곱 방정식의 해를 구하는 제10 프로세서로서, 상기 최소 제곱 방정식은 제1 측과 제2 측을 포함하며, 상기 제1 측은 상기 누적된 정규 행렬과 상기 계수 행렬의 곱을 포함하며, 상기 제2 측은 상기 누적된 회귀 벡터이며, 상기 계수 행렬은 다항식 함수의 계수를 포함하는, 상기 제10 프로세서

    를 포함하는 장치.
35. 제34항에서,

    상기 제1 프로세서는, 상기 감소된 화질 데이터를 강등(downgrade)시키는 제11 프로세서를 더 포함하는 장치.
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제
57. 삭제
58. 컴퓨터 판독 가능 매체로서,

    복수의 고화질 이미지들을 처리하는 이미지 처리 단계로서, 훈련 데이터를 생성하도록 상기 복수의 고화질 이미지의 각각에 대해 시뮬레이팅된 검출기 응답 함수를 적용하는 단계와, 감소된 화질 데이터를 생성하도록, 상기 훈련 데이터에 국부적으로 불균일한 모자이크 패턴 함수를 적용하는 단계와, 상기 감소된 화질 데이터의 가중 정규 행렬를 계산하는 단계와, 행렬합에 상기 가중 정규 행렬을 부가하는 단계, 상기 감소된 화질 데이터의 회귀 벡터(regression vector)를 계산하는 단계와, 벡터합에 상기 회귀 벡터를 부가하는 단계를 포함하는, 상기 이미지 처리 단계,

    누적된 정규 행렬을 결정하도록 상기 행렬합을 이용하는 단계,

    누적된 회귀 벡터를 결정하도록 상기 벡터합을 이용하는 단계, 및

    향상된 해상도 데이터를 생성하기 위한 모델의 계수 행렬을 결정하도록 최소 제곱 방정식의 해를 구하는 단계로서, 상기 최소 제곱 방정식은 제1 측과 제2 측을 포함하며, 상기 제1 측은 상기 누적된 정규 행렬과 상기 계수 행렬의 곱을 포함하며, 상기 제2 측은 상기 누적된 회귀 벡터이며, 상기 계수 행렬은 다항식 함수의 계수를 포함하는, 상기 최소 제곱 방정식의 해를 구하는 단계

    를 수행하도록 프로세서를 지시 가능한 명령 집합을 갖는 컴퓨터 판독 가능 매체.
59. 제58항에서,

    상기 이미지 처리 단계는 상기 가중 정규 행렬을 계산하는 단계 및 상기 회귀 벡터를 계산하는 단계 전에 상기 감소된 화질 데이터를 강등(downgrade)시키는 단계를 더 포함하는 컴퓨터 판독 가능 매체.
60. 삭제
61. 삭제
62. 삭제
63. 삭제
64. 삭제
65. 삭제
66. 삭제
67. 삭제
68. 삭제
69. 삭제
70. 삭제
71. 삭제
72. 삭제
73. 삭제
74. 삭제
75. 삭제
76. 삭제

Images