KR20050107741A

KR20050107741A - 이미지 인해스먼트 기능을 가진 카메라

Info

Publication number: KR20050107741A
Application number: KR1020057013218A
Authority: KR
Inventors: 알렉스 알론; 어리나 알론
Original assignee: 디-블러 테크놀로지즈 리미티드
Priority date: 2003-01-16
Filing date: 2004-01-15
Publication date: 2005-11-15
Also published as: CN101814182A; WO2004063989A2; CN101819325A; US7627193B2; HK1088426A1; CN1739118B; US8126287B2; JP2006519527A; US20100141807A1; US20060256226A1; CN101814182B; WO2004063989A3; EP1584067A2; ATE549855T1; JP4377404B2; CN101819325B; CN1739118A

Abstract

이미징 장치(20,44)는 엘리먼트스상에 입사된 광방사에 응답하여 신호를 발생시키도록 채택된 피치에 의해 특징지어진 광감지 엘리먼트(24)의 어레이(22)를 포함하고 잇다. 광축(134)를 가지고 있고, 이 광축에 둘레로 원통형 대칭형에 의해 특징지어진 대물 광학기구(26,46)은 대물 광학기구의 최적 초점에서 어레이의 피치를 2배 보다 큰 범위를 가지고 있는 점상 분수 함수(PSF)를 가지고 어레이상으로의 물체로부터의 광방사를 포커싱하도록 배열되어 있다.

Description

이미지 인해스먼트 기능을 가진 카메라{CAMERA WITH IMAGE ENHANCEMENT FUNCTIONS}

본 발명은 일반적으로 디지털 이미징에 관한 것이고, 구체적으로는 디지털 카메라용 광학을 설계하는 것은 물론 디지털 카메라의 이미지 품질을 개선시키는 방법 및 장치에 관한 것이다.

CCD 또는 CMOS 센서 어레이에 기초한 카메라와 같은 당업분야에서 알려진 디지털 카메라의 고유 해상도는 일반적으로 센서 어레이 자체의 해상도에 의해 제한되어 있다. 보다 더 해상도가 열화되는 것을 방지하기 위해, 이러한 카메라에 사용되는 대물 광학기구는 보통 어레이의 피치보다 작은 범위를 가지고 있도록 설계되어 있다. 달리 말하면, 광학기구는 물평면내의 밝은 포인트가 센서 어레이상의 하나이 화소보다 크기면에서 크지 않은 스폿으로 이미징되도록 설계되어 있다.

광시스템의 PSF는 초점 변화 및 수차로 인한 이상적인 것으로부터 변할 수 있다. 디지털 이미지 처리에 의해 이러한 PSF 일탈을 측정하고 보상하는 수많은 방법이 알려져 있다. 예를 들어, 여기에 언급되어 통합된 미국 특허 6,154,574호는 이미지 처리 시스템내의 초점을 벗어남 이미지를 디지털식으로 포커싱하는 방법으을 기술하고 있다. 평균 스텝 응답은 서브 이미지로 디포커싱된 이미지를 분할함으로써 그리고 각각의 서브 이미지내의 에지 방향에 대하여 스텝 응답을 계산함으로써 얻어진다. 평균 스텝 응답은 이미지 복구 전달 함수를 결정하기 위해 차례로 적용되는 PSF 계수를 계산하는데 사용된다. 인포커스 이미지는 주파수 대역에서 아웃 포커스 이미지에 의해 이러한 함수를 곱함으로써 얻어진다.

다른 예로서, 여기에 언급되어 통합된 미국 특허 6,567,570호는 PSF의 내부 측정값을 만들기 위해 스캐너내의 타겟을 사용하는 이미지 스캐너를 기술하고 있다. 이러한 측정은 스캐너 렌즈 시스템의 불완전성을 부분적으로 보상하기위해 스캐너에의해 포착된 이미지에 인가되는 컨볼루션 커널을 계산하는데 사용된다.

특정 광수차에 불변을 생성하기 위해 이미지에 특별 목적의 블러를 추가하는것이 또한 가능하다. 신호 처리는 그후에 이 블러를 제거하는데 사용된다. 이러한 기술은 여기에 언급되어 통합된 "Reducing Complex in Computational Imaging Systems", Optics Express 11(2003), 페이지 2102-2108내에 Kubala등에 의해 기술되어 있다. 저자는 "웨이브프론트 코딩"으로서 이러한 기술을 언급하고 있다. 특별한 비구면 광학 엘리먼트가 이미지내의 블러를 생성하도록 사용되었다. 이러한 광학 엘리먼트는 별개의 스탠드 얼론 엘리먼트일 수 있거나 광시스템내의 하나 이상의 렌즈내에 통합될 수 있다. 이러한 종류의 웨이브프론트 코딩에 기초한 이미지 처리의 광학 설계 및 방법은 예를 들어, 여기에 언급되어 통합된 미국 특허 5,748,371호 및 미국 특허출원 공개 US 2002/0118457 A1, US 2003/0057353 A1 및 US 2003/0169944 A1에 기술되어 있다.

도 1A는 본 발명의 일실시예에 따른 무렌즈 카메라의 개략측면도,

도 1B는 카메라의 점상분포 기능을 설명하는 도 1A의 카메라의 개략 상세도,

도 2는 본 발명의 일실시에에 따른 광학 줌 동작을 설명하는 도 1A의 카메라의 개략 상세도,

도 3은 본 발명의 다른 실시예에 따른 카메라의 개략측면도,

도 4는 도 3의 카메라에 사용되는 센서 어레이의 이미지 평면내의 화소의 매트릭스의 개략정면도,

도 5는 본 발명의 일실시에에 따른 전자 이미징 카메라에 의해 포착된 이미지의 배드 화소를 식별하는 방법을 개략적으로 설명하는 순서도,

도 6은 본 발명의 일실시에에 따른 이미지를 디블러링하는 방법을 개략적으로 설명하는 순서도,

도 7은 본 발명의 일실시예에 따른, 광학 설계용 방법을 개략적으로 설명하는 순서도,

도 8은 도 7의 방법와 관련하여 사용되기 위한, 이미지 품질 스코어를 계산하는 방법을 개략적으로 설명하는 순서도,

도 9은 본 발명의 일실시에에 따른, 도 7의 방법을 사용하여 설계된 대물 광학기구의 개략 측면도,

도 10A 및 도 10B는 도 9에 도시된 대물 광학기구의 PSF의 개략 플롯도이다.

도 11A 및 도 11B는 본 발명의 일실시에에 따른, 도 9의 광학기구에 의해 형성된 이미지를 디블러링하는데 사용되는 디컨볼루셔널 필터(DCF) 커널의 개략 플롯도,

도 12A 및 도 12B는 본 발명의 일실시예에 따른, 도 11A 및 도 11B에 도시된 DCF를 사용하여 이미지를 디블러링함으로써 얻어진 개선된 PSF의 개략 플롯도.

본 발명의 일부 실시예는 디지털 이미징 시스템의 이미지 품질을 향상시키는 방법 및 디바이스를 제공한다. 이러한 방법 및 디바이스는 고품질 이미지를 생성하는 단순하고, 비용이 저렴한 렌즈(또는 심지어는 무렌즈)를 가진 디지털 카메라를 생성하는 데 특히 유용하다. 그러나, 본 발명에 의해 기술된 광설계 및 이미지 처리의 새로운 원리는 또한 다른 타입의 디지털 이미징 시스템에 적용가능하다.

본 발명의 일부 실시예에서, 전자 이미징 카메라는 이미지 감지 어레이를 포함하고 있다. 카메라는 보통 대물 광학기구의 최적의 초점에서도 광감지 어레이의 피치보다 실질상 큰 범위의 PSF를 가진 어레이상에 물체를 이미징하는 대물 광학기구를 포함하고 있다. (일실시예에서, "대물 광학기구"는 단순히 전혀 아무런 렌즈도 가지지 않은 개구 - 큰 "핀홀'와 같은 - 를 포함하고 있다.) 결과적으로, 광감지 어레이 자체에 의해 포착된 이미지는 블러링되어 있다. 카메라내에 통합될 수 있는 이미지 프로세서는 감소된 블러를 가진 출력 이미지를 발생시키기 위해 광감지 어레이에 의해 신호 출력에 -보통 디컨볼루션 필터의 형태로- 디블러링 함수를 적용한다. 이러한 블러 감소는 아래에 기술된 새로운 이미지 처리 방법에 의해 가능하다. 이러한 방법은 수용가능한 출력 이미지를 주도록 광감지 어레이에 의해 발생된 전자 이미지를 복구하면서 불량한 고유의 PSF를 가진 카메라 광학기구를 설계하고 사용하는 것을 가능하게 한다.

보통, 대물 광학기구는 광축에 대하여 원통형 대칭형이다. 달리 말하면, 광학기가 광축에 대하여 회전하면 센서 어레이상에 형성된 이미지는 - 또한 그래서 이미지에 적용되어야 하는 디블러링 함수는- 실질상 변하지 않는다. 반대로, 본 발명의 배경에 인용된 공개문헌내에 기술된 웨이브프론트 코딩상에 기초한 시스템은 의도적으로 원통형 대칭형이 파괴된 광학기구를 사용한다. 따라서, 이러한 시스템은 상이한 광학 엘리먼트를 필요로 하고 광학기구의 회전 정렬에서 변화에 민감하다.

결함 없는 검출기 어레이가 매우 비싸기 때문에, 대부분의 소비자 및 산업용 전자 이미징 카메라는 유용한 광 신호를 생성하지 않는 특정 수의 배드 화소를 가지고 있다. 본 발명의 일부 실시예에서, 카메라에 의해 포착된 이미지의 통계적 분석은 감지 어레이내의 이러한 배드 화소를 발견하기 위해 사용되었다. 보통, 배드 화소는 카메라에 의해 포착된 이미지내에서 식별되는데, 이것은 배드 화소의 화소값이 카메라 광학기구의 PSF에 의해 결정되는 임계량보다 많이 이웃 화소의 화소값과 상이하기 때문이다. (디컨볼루션 필터링에 의해) 이미지를 디블러링하기 전에, 배드 화소의 값은 대체 값으로 대체되어 복구된 이미지상의 배드 화소의 영향을 약화시킨다. 다른 블러링된 이미지를 생성한 후 이미지를 디블러링하는 반복적인 프로세서는 향상된 품질의 복구된 이미지를 발생시키기위해 사용된다. 이러한 프로세스에서, 알려진 배드 화소의 근방내의 화소값은 배드 화소로 인한 불순물의 전파를 감소시키기 위해 각각의 반복에서 수정된다. 입력 이미지는 디블러링 동작의 목적을 위해 더미 화소의 프레임에 의해 둘려싸일 수 있고, 더미 화소는 배드 화소로서 처리된다.

본 발명의 디블러링 방법이 본발명의 일부 실시예에서 실질상 임의의 종류의 대물 광학기구를 가진 카메라내에 사용될 수 있지만, 이 광학기구는 카메라의 디블러링 능력을 고려하는 반복적인 프로세스에 의해 설계되어 있다. 이러한 목적을 위해, 초기 광학 설계가 발생되고, 설계의 PSF는 광설계의 공차 및 수차에 기초하여 계산된다. 이러한 PSF에 의해 특징지어진 대표적인 디지털 이미지는 계산되고 디블러링 함수는 이미지의 PSF를 개선시키기 이해 즉, PSF의 범위를 감소시키기 위해 결정된다. 그다음, 광시스템의 설계는 개선된 PSF의 범위를 감소시키도록 수정된다.

광설계를 수정하기 위해, 개선된 PSF의 부수적인 변화 및 광설계이 변화의 부작용이 추정될 수 있다. 이러한 추정은 어떻게 광설계가 변경되어야 하는지를 결정하는데 사용된다. PSF 개선을 추정하고 이에 따라 광설계를 수정하는 프로세스는 보통 설계가 소정의 공차내에 수렴될 때가지 반복적으로 반복된다. 이러한 프로세스는 카메라의 전체 성능을 최적화하면서 상대적으로 높은 제조 공차 및 감소된 수의 광학 엘리먼트를 가진 저비용의 광학기구의 사용을 가능하게 한다.

따라서, 본 발명의 일실시예에 따라

광감지 엘리먼트상에 입사된 광방사에 응답하여 신호를 발생시키도록 채택된, 피치에 의해 특징지어진, 광감지 엘리먼트의 어레이; 및

광축을 가지고 있고 상기 광축에 대하여 원통형 대칭형의 특징을 가지고 있으며, 대물 광학기의 최적 초점에서 어레이의 피치의 두배보다 큰 범위를 가지고 있는 점상분포함수(PSF)를 가지고 물체로부터의 광방사를 어레이상으로 포커싱하도록 배열된 대물 광학기구를 포함하는 이미징 장치가 제공된다.

개시된 실시예에서, 상기 PSF의 범위는 적어도 상기 피치의 3배이다.

보통 상기 이미징 장치는 전자 이미지의 블러를 감소시키면서 상기 물체의 전자 이미지를 발생시키기 위해 상기 PSF에 반응하여 상기 어레이로부터의 신호를 처리하도록 결합된 이미지 프로세서를 포함하고 있다. 개시된 실시예에서, 상기 어레이로부터의 신호는 각각의 화소 값을 가지고 있는 화소를 포함하고 있는 입력 이미지에 상응하고, 상기 이미지 프로세서는 상기 PSF에 기초하여, 상기 입력 이미지에 디컨볼루션 필터를 적용함으로써 상기 블러를 감소기키도록 채택된다. 상기 이미지 프로세서는 상기 어레이내의 하나 이상의 배드 엘리먼트를 식별하고, 보정된 블러링된 이미지를 재생시키기 위해 대체값으로 상기 입력 이미지내의 배드 엘리먼트의 근방의 화소의 화소값을 대체시키고, 그리고 복구된 이이미지를 발생시키기 위해 상기 보정된 블러링된 이미지에 상기 디컨볼루선 필터를 적용하도록 채택된다.

일부 실시예에서, 상기 대물 광학기구는 상기 디컨볼루션 필터의 적용에 이어 전자 이미지의 품질을 최적화하도록, 상기 PSF에 응답하여 선택된 광학 특성을가지고 있는 하나 이상의 렌즈를 포함하고 있다.

추가적으로 또는 대안으로, 상기 이미지 프로세서는 물체와 어레이 사이의 초점 관계의 변화에 응답하여 입력 이미지에 적용된 디컨볼루션 필터를 수정하도록 적용되어 있다. 일실시예에서, 상기 이미지 프로세서는 상기 물체가 상기 대물 광학기구로부터의 소정의 최소 거리보다 적을 때 매크로 디컨볼루션 필터를 선택하도록 채택되어 있다.

본 발명의 일실시예에 따라

감지 엘리먼트상에 입사된 광방사에 응답하여 신호를 발생시키도록 채택된, 피치에 의해 특징지어진, 광감지 엘리먼트의 어레이; 및

상기 어레이를 포함하고 있고 상기 어레이의 피치보다 실질상 더 큰 트랜스버스 디멘션을 가지고 있는 안에 개구가 형성되어 있는 카메라 본체를 포함하고 있고,

상기 개구 및 어레이는 물체로부터의 광방사가 상기 개구를 통과하고 실질상 광초점 엘리먼트의 간섭 없이 어레이상에 입사하도록 배열되어 있는 이미징 장치가 제공되어 있다.

개시된 실시예에서, 상기 이미징 장치는 디바이스의 뷰의 필드를 조정하도록 상기 어레이와 상기 개구 사이의 거리를 변화시키는, 상기 어레이 및 상기 개구중 적어도 하나에 연결된 메커니즘을 포함하고 있다.

보통, 상기 개구의 트랜스버스 디멘션은 피치보다 적어도 50% 더 크다. 서택적으로 상기 개구의 트랜스버스 디멘션은 피치의 적어도 2배이다.

본발명의일실시예에 따라

특징적인 점상분포함수(PSF)를 가지고 초점 평면상에 문체로부터의 광방사를 포커싱하도록 배열된 대물 광학기구;

상기 초점 평면에 위치되어 있고 광감지 엘리먼트상에 입사된 광방사에 응답하여 신호를 발생시키도록 채택된 광감지 엘리먼트의 어레이; 및

상기 어레이로부터의 신호를 수신하도록 결합되어 있고, 상기 어레이내의 하나 이상의 배드 엘리먼트를 식별하고, 상기 PSF에 응답하여, 배드 엘리먼트로 인한 불순물의 전파를 감소시키면서 보정된 블러링된 이미지를 생성하도록 입력 이미지내의 배드 엘리먼트의 근방의 화소의 화소값을 수정하고, 그리고 복구된 출력 이미지를 발생시키기 위해 상기 PSF에 기초하여 상기 보정된 블러링된 이미지에 디컨볼루션 필터를 적용하도록 채택된 이미지 프로세서를 포함하고 있고,

상기 신호는 각각의 화소 값을 가지고 있는 화소를 포함하고 있는 물체의 전자 이미지에 상응하는 이미징 장치가 추가로 제공되어 있다.

본 발명의 일실시예에 따라, 하나 이상의 배드 엘리먼트를 포함하고 있고 점상분포함수(PSF)에 의해 특징지어진 광검출 엘리먼트의 어레이로부터의 물체의 블러링된 입력 이미지를 수신하고, 상기 PSF에 응답하여, 상기 배드 엘리먼트로 인한 불순물의 전파를 감소시키면서 보정된 블러링된 이미지를 생성하기 위해 상기 블러링된 입력 이미지내의 배드 엘리먼트의 근방내의 화소의 값을 수정하고, 그리고 복구된 이미지를 발생시키기 위해 상기 보정된 블러링된 이미지에 디컨볼루션 필터를 적용하도록 채택된 적어도 하나의 집적 회로 디바이스를 포함하고 있는 이미지 프로세서가 더 제공되어 있다.

본 발명의 일실시예에 따라

광시스템의 설계를 생성하는 단계;

상기 설계에 따른 광시스템의 광 점상분포함수(PSF)를 계산하는 단계;

상기 설계에 따른 광시스ㅌ메에 의해 생성된 이미지에, 주어진 이미지 복구 함수를 적용함으로써 얻어질 수 있는 개선된 PSF를 결정하는 단계; 및

상기 개선된 PSF의 범위를 감소시키도록 광시스템의 설계를 수정하는 단계를 포함하는 광시스템을 생성하는 방법이 더 제공되어 있다.

일실시예에서, 상기 설계를 생성하는 단계는 복수의 광수차의 각각에 각각의 메릿 스코어를 할당하는 단계; 상기 설계의 특징인 광수차를 결정하는 단계; 상기 광수차에 응답하여 설계 스코어 및 각각의 메릿 스코어를 계산하는 단계; 및 상기 설계 스코어에 응답하여 설계를 최적화하는 단계를 포함한다. 보통, 상기 각각의 메릿 스코어를 할당하는 단계는 PSF에 대한 각각의 광수차의 각각의 효과를 결정하는 단계 및 상기 각각의 효과에 응답하여 각각의 메릿 스코어를 계산하는 단계를 포함한다. 추가적으로 또는 대안으로 상기 광수차를 결정하는 단계는 상기 광수차의 제르니케 다항식 액스팩션을 발생시키는 단계를 포함하고, 상기 설계 스코어를 계산하는 단계는 상기 제르니케 다항식 익스팬션의 계수에 응답하여 각각의 메릿 스코어의 가중합을 계산하는 단계를 포함한다.

개시된 실시예에서, 개선된 PSF를 결정하는 단계는 계산된 광 PSF에 응답하여 디컨볼루션 필터의 계수를 결정하는 단계 및 계산된 광 PSF에 의해 특징지어진 대표 이미지에 디컨볼루션 필터를 인가하는 단계를 포함한다.

추가적으로 또는 대안으로, 설계를 수정하는 단계는 개선된 PSF에 대한 설계의 변화의 효과를 추정하는 단계 및 추정된 효과에 응답하여 광시스템의 설계를 수정하는 단계를 포함한다. 개시된 실시예에서, 개선된 PSF를 결정하는 단계는 상기 개선된 PSF에 의하여 이미지 품질 스코어를 계산하는 단계를 포함하고, 변화의 효과의 추정하는 단계는 변화에 대한 이미지 품질 스코어의 종속성을 찾아내는 단계를 포함한다. 보통, 상기 이미지 품질 스코어를 계산하는 단계는 광시스템의 이미지 필드내의 복수의 포인트에서의 각각의 로컬 점상분포함수를 결정하는 단계 및 상기 로컬 점상분포함수에 응답하여 상기 이미지 품질 스코어를 결정하는 단계를 포함한다. 상기 이미지 품질 스코어를 결정하는 단계는 복수의 포인트에서의 각각의 로컬 스코어를 찾는 단계 및 상기 이미지 품질 스코어를 발생시키기 위해 상기 로컬 스코어를 조합하는 단계를 포함한다.

일실시예에서, 개선된 PSF를 결정하는 단계는 로컬 점상분포함수의 가중합을 취함으로써 가중 PSF를 계산하는 단계를 포함하고, 변화의 효과를 추정하는단계는 가중 PSF에 대한 변화의 효과를 계산하는 단계를 포함한다.

또 다른 실시예에서, 상기 이미지 품질 스코어를 계산하는 단계는 개선된 PSF로써 생성된 이미지의 해상도를 나타내는 해사도 스코어를 찾는 단계, 상기 이미지내의 불순물의 레벨을 나타내는 불순물 스코어를 찾는 단계 및 상기 이미지 품질 스코어를 결정하기 위해 상기 해상도 스코어 및 상기불순물 스코어를 조합하는 단계를 포함한다.

보통, 상기 이미지 품질 스코어를 계산하는 단계는 광시스템의 수차에 응답하여 상기이미지 품질 스코어를 결정하는 단계를 포함하고, 상기 이미지 품질 스코어의 종속성을 찾는 단계는 광수차의 변화에 대한 상기 이미지 품질 스코어의 계조도를 계산하는 단계를 포함한다. 개시된 실시예에서, 상기 이미지 품질 스코어의 종속성을 찾는 단계는 광시스템의 설계로의 특정 수정의 함수의 결과를 가져올 광수차의 변화를 나타내는 응답 매트릭스를 결정하느 단계를 포함하고, 설계를 수정하는 단계는 상기 계조도 및 상기 응답 매트릭스에 응답하여 설계에 인가되는 수정을 결정하는 단계를 포함한다.

일부 실시예에서, 상기 방법은 광시스템의 수정된 수정된 설계에 대하여, 반복적으로 반복하는 단계, 광 PSF를 계산하는 단계, 개선된 PSF를 결정하는 단계 및 설계를 수정하는 단계를 포함한다. 보통, 반복적으로 반복하는 단계는 광 PSF를 계산하는 단계, 개선딘 PSF를 결정하는 단계 및 반복중 하나에 의해 표시된 설계에 대한 수정이, 광시스템을 제조하는데 적용될 소정의 공차보다 적을 때까지 설계를 수정하는 단계를 통한 반복을 실행하는 단계를 포함한다.

보통, 상기 광시스템은 하나 이상의 광학 엘리먼트를 포함하고 있고, 설계의 변화는 상기 광학 엘리먼트중 하나의 공간 표면의 구면, 상기 광학 엘리먼트중 하나의 두께 및 상기 광학 엘리먼트 사이의 스페이싱중 적어도 하나의 변화를 포함하고 있다. 개시된 실시예에서, 상기 하나 이상의 광학 엘리먼트는 다항식 함수에 의해 한정된 적어도 하나의 표면을 가지고 있는 적어도 하나의 비구면 엘리먼트를 포함하고 있고, 설계를 수정하는 단계는 다항식 함수의 계수를 최적화하는 단계를 포함한다.

본 발명의 일실시예에 따라, 설계에 따른 광시스템의 광 점상분포함수(PSF)를 계산하는 단계, 상기 설계에 따른 광시스테에 이해 생성된 이미지에, 주어진 임지 복구 함수를 적용함으로써 얻어질 수 있는 개선된 PSF를 결정하는 단계 및 개선된 PSF의 범위를 감소시키기 위해 광시스템의 설계를 수정하는 단계에 의해 최적화된 설계에 따라 생성되고 조립된 하나 이상의 광학 엘리먼트를 포함하고 있는 광시스템이 더 제공되어 있다.

본 발명의 일실시예에 따라, 프로그램 명령어가 저장된 컴퓨터 판독가능 매체를 포함하고 있고, 상기 프로그램 명령어는 상기 컴퓨어에 의해 판독될 때, 상기 컴퓨터가 광시스템의 설계를 생성하고, 상기 설계에 따른 광시스템의 광 점상분포함수(PSF)를 계산하고, 상기 설계에 따른 광시스템에 의해 생성된 이미지에, 주어진 이미지 복구 함수를 적용함으로써 얻어질 수 있는 개선된 PSF를 결정하고, 그리고 상기 개선된 PSF의 범위를 감소시키기 위해 광시스템의 설계를 수정하도록 하는 것을 특징으로 하는 컴퓨터 소프트웨어 프로덕트가 또한 제공되어 있다.

본 발명의 일실시예에 따라,

상기 광감지 엘리먼트상에 입사된 광방사에 응답하여, 피치에 의해 특징지어진 상기광감지 엘리먼트의 어레이를 사용하여, 신호를 발생시키는 단계; 및

광축을 가지고 있고, 상기 광감지 엘리먼트의 어레이의 피치의 두배보다 큰 범위를 가진 점상분포함수(PSF)를 가지고 광 이미지를 형성하도로, 상기 광축 둘레에 원통형 대칭형에 의해 특징지어진 대물 광학기구를 사용하여 상기 어레있ㅇ에 물체로부터의 광방사를 포커싱하는 단계를 포함하는 전자 이미징을 위한 방법이또한 제공되어 있다.

개시된 실시예에서, 상기 방법은 상기 전자 이미지의 블러를 감소시키면서 물체의 전자 이미지를 발생시키기 위하여 상기 PSF에 응답하여 상기 어레이로부터의 신호를 처리하는 단계를 포함한다. 보통, 상기 어레이로부터의 신호는 각각의 화소값을 가지고 있는 화소를 포함하고 있는 입력 이미지에 상응하고, 상기신호를 처리하는 단계는 상기 PSF에 기초하여 상기 입력 이미지에 디컨볼루션을 적용하는 단계를 포함한다. 일실시예에서, 상기 디컨볼루션 필터를 적용하는 단계는 상기 물체와 상기 어레이 사이의 초점 관계의 변화에 응답하여 상기 디컨볼루션 필터를 수정하는 단계를 포함한다. 예를 들어, 상기 디컨볼루션 필터를 수정하는단계는 상기 물체가 상기 대물 광학기구로부터의 소정의 최소 거리보다 적을 때 매크로 디컨볼루션 필터를 선택하는 단계를 포함한다.

본 발명의 일실시예에 따라,

광검출 엘리먼트의 어레이내의 하나 이상의 배드 엘리먼트를 식별하는 단계;

상기 어레이를 사용하여 물체의 점상분포함수(PSF)에 의해 특징지어진 블러링된 입력 이미지를 포착하는 단계;

상기 배드 엘리먼트로 인한 불순물의 전파를감소시키면서 보정된 블러링된 이미지를 생성하기 위해 상기 블러링된 입력 이미지내의 배드 엘리먼트의 근방내의 화소의 값을 상기 PSF에 응답하여 수정하는 단계; 및

복구된 이미지를 발생시키기위해 상기보정된 블러링된 이미지에 상기 PSF에 기초하여 디컨볼루션 필터를 적용하는 단계를 포함하는 이미지 처리 방법이 또한 제공되어 잇다.

보통, 상기 방법은 새로운 블러링된 이미지를 생성하기 위해 상기 복구된 이미지내의 배드 엘리먼트의 근방내의 화소의 값을 수정하는 단계 및 새로운 복구된 이미지를 발생시키기 위해 상기 새로운 블러링된 이미지에 상기 디컨볼루션 필터를 적용하는 단계를 반복적으로 실행하는 단계를 포함한다.

개시된 실시예에서, 상기 방법은 상기 입력 이미지 둘레의 더미 화소의 프레임을 추가하는 단계를 포함하고, 상기 더미 화소는 상기 보정된 블러링된 이미지를 생성하고 상기 복구된 이미지를 발생시킬 목적을 위해 상기 배드 엘리먼트와 연관된 화소와 동일하게 처리된다.

실시예에서, 상기 값을 수정하는 단계는 상기 PSF에 응답하여 배드 화소의 근방내의 화소값을 대체할 대체값을 결정하는 단계를 포함한다. 이러한 실시예중 하나에서, 상기 대체값을 결정하는 단계는 실질상 다음

에 의해 주어진 형태의 보정 맵 M[x]을 사용하여 대체값을 설정하는 단계를 포함하고, x는 화소 좌표값이고, M'[x]는 상기 PSF의 공액을 가지고 배드 엘리먼트의 맵을 컨볼루션함으로써 주어진 컨볼빙된 맵이다.

추가적으로 또는 대안으로, 상기 하나 이상의 배드 엘리먼트를 식별하는 단계는 화소의 값 사이의 차이를 결정하는 단계 및 상기 차이를 상기 PSF에 의존하여 최대 차이와 비교하는 단계를 포함한다.

본 발명은 다음의 도면을 참조하여 다음의 상세한 설명으로부터 보다 잘 이해될 것이다.

정의

아래에 본 특허 출원 및 청구항에 사용된 기계 용어의 비배타적인 리스트가 나와 있다. 이러한 용어가 당업분야에서 사용되는 평이한 의미로 여기에 사용되었지만, 아래의 명세서 및 청구범위를 이해하는데 독자에게 도움이 되기 위해 아래에 설명하였다.

- 검출기 어레이의 피치는 검출기 어레이의 엘리먼트 사이의 중심간 거리를 의미한다.

- 원통형 대칭형(Cylindrical Symmetry)은 회전의 임의의 각 및 모든 각에 대해 광축에 대해 회전해도 구조가 변하지 않도록 광축을 갖고 있는 단순하거나 복합적인 렌즈와 같은 구조를 나타낸다.

- 점상분포함수(PSF)는 여기에 h로 표현되어 있는데, 이것은 공간 도메인내의 광시스템의 임펄스 응답, 즉, 암 배경에 대해 명 포인트 대상의 시스템에 의해 형성된 이미지이다.

- PSF 의 정도는 PSF의 반치전폭(FWHM)이다.

- 광 전달 함수( OTE )는 주파수 대역으로의 PSF의 2차원 퓨리에 전환이다. PSF가 OTF으로 또는 그 반대로 변환될 수 있는 용이함 때문에, OTF의 계산은 본 발명의 목적을 위해 PSF의 계산과 등가로 여겨진다.

- 광방사는 스펙트럼의 가시광선, 적외선 및 자외선 영역중 임의의 영역내의 전자기파를 가리킨다.

카메라 이미지의 디블러링

도 1A는 본 발명의 일실시예에 따른 전자 이미징 카메라(200의 개략 측면도이다. 카메라(20)은 당업분야에 알려진 바와 같이, 검출기 엘리먼트(24)의 매트릭스를 포함하는, CCD 또는 CMOS 이미지 센서와 같은, 이미지 센서 어레이(22)를 포함하고 있다. 물체로부터의 보통 가시광선인 광방사는 카메라의 대물 광학으로 기능하는 개구(6)를 통해 어레이(22)상에 입사된다. 모션 디바이스(28)는 아래에 설명된 바와 같이, 광학 줌 동작의 목적을 위해, 개구(26)쪽으로 그리고 개구(26)로부터 멀리 어레이(22)를 트랜슬레이팅하기 위해 동작될 수 있다. 대안으로, 모션 디바이스는 어레이(22) 보다는 개구(26)을 변환하도록 또는 개구 및 어레이 모두를 변환하도록 결합되어 있을 수 있다.

도 1B는 개구(26) 및 어레이의 개략 상세도이다. 종래 전자 아미징 카메라에서, 렌즈는 선명한 이미지를 생성하기 위해 센서 어레이상에 물체의 상을 포커싱하는데 사용되어 있고, 물체상의 각각의 포인트는 센서 평면상의 하나의 포인트에 이미징되어 있다. 그러나, 카메라(20)에서, 실질상 아무런 대물 렌즈도 사용되지 않아 어레이(22)상에 입사된 이미지는 필연적으로 블러링되어 있다. 물체상의 포인트(40)로부터 방사된 광은 어레이(22)상의 스폿(42)를 형성하기 위해 기구(26)를 통과할 것이다. 물체 포인트(40)가 개구(26)가 어레이(22)로부터 떨어져 있는 것보다 개구(26)으로부터 휠씬 더 멀리 떨어져 있는 (회절 및 다른 광학 효과를 무시하고) 개념적 단순성을 위해, 스폿(42)의 익스텐드는 개구(26)의 직경과 대략 동일하다고 말할 수 있다. 전형적으로, 개구 직경은 예를 들어, 피치의 2배 또는 4배만큼 어레이(22)의 피치보다 실질적으로 크거나 휠씬 더 크다. 따라서, 스폿(42)는 적어도 수개의 상호 인접한 화소의 그룹을 커버한다. 어레이(22)상에 형성된 이미지의 점상분포함수(PSF)는 개구(260의 직경과 대략 동일한 특징적인 범위를 가지고 있다.

이제 도 1A로 돌아가서, 이미지 프로세서(30)는 회복된 출력 이미지(32)를 재생하기위해 어레이(22)에 의해 발생된 블러링된 입력 이미지를 처리한다. 이미지 프로세서(30)는 카메라(20)내에 포함된 하나 이상의 전용 집적 회로 칩을 포함하고 있다. 대안으로 또는 추가적으로, 이미지 프로세서는 적합한 소프트웨어를 가진 프로그램가능 프로세서를 포함할 수 있고, 카메라의 내측 또는 외측에 위치될 수 있는데, 즉, 프로세서는 카메라로부터의 이미지가 로딩되는 별도의 컴퓨터내에 있을 수 있다. 프로세서(30)는 무렌즈 카메라(20)내에만 사용되지 않고 변경을 가하여, 디지털 카메라의 다른 타입 및 다른 이미징 디바이스의 다른 타입에 집적 파트로서 애드 인 엘리먼트로서 사용될 수 있다. 출력 이미지(32)는 예를 들어, 비디오 모니터(34)상에 디스플레이될 수 있거나 대안으로 메모리내에 인쇄되거나 저장될 수 있다.

도 2는 본 발명의 일실시에에 따라, 카메라(20)의 광중기능을 설명하는 개구(26) 및 어레이(22)의 개략 상세도이다. 어레이(22)는 개구(26)쪽으로 그리고 개구(26)로부터 도면에서 수평축을 따라 죄우측으로 모션 디바이스(28)에 의해 변환된다. 어레이가 개구로부터 상대적으로 멀리 있을 대, 이것은 절반 폭의 각 α의 상대적으로 좁은 뷰필드내에 물체로부터 광을 수신한다. 어레이가 전방으로 개구(26)쪽으로, 22'로 마킹된 위치로 이동할 때, 어레이는 절반 폭의 각 α'의 보다 넓은 뷰 필드를 본다. 이러한 효과는 종래 카메라내의 대물 렌즈를 변환시킴으로써 얻어진 광줌 효과와 등가이다.

도 3는 본 발명의 또 다른 실시예에 따른, 전자 이미징 카메라(44)의 개략 측면도이다. 카메라(44)는 카메라(44)가 보통 하나 이상의 렌즈로 구성된 굴절 대물 광학(46)를 포함하는 것을 제외하곤 상술된 바와 같이 카메라(20)와 구성과 동작이 유사하다. 또한, 적외선 차단 필터와 같은, 카메라의 광경로내에 하나 이상의 필터(48)가 있을 수 있다. 보통, 제조 단가를 줄이기 위해, 광학(46)은 상대적으로 느슨한 공차로 설계된 상대적으로 적은 굴절 엘리먼트를 포함한다. 그 결과, 광학기구의 PSF의 범위는 어레이(22)의 피치보다 실질상 크다. 보통, PSF 범위는 적어도 피치의 두배이고 피치의 세배보다 크거나 피치의 네배일 수 있어 광학(46)상의 설계 콘스트레인트를 해제하고 그래서 카메라(44)의 단자를 낮추게 된다. 카메라의 물체 거리 또는 배율(줌)이 변한다면, PSF는 변할 수 있다는 것에 주목해야 한다. (이러한 경우에 PSF내의 변화는 도 2에 도시된 단순한 줌기능보다 더 복잡하다. ) 프로세서(30)는 이러한 변화를 보상하도록 프로그램될 수 있다.

이미지 프로세서(30)는 블러링된 이미지로부터 노이즈를 먼저 제거한 후에, 이미지에 디컨볼루션 필터(DCF)를 가함으로써 카메라(20 또는 44)의 출력 이미지를 디블러링한다. DCF는

(1)

와 같은 복소수 PSF h의 정기 역수로서 여겨질 수 있다. 여기에서, ε는 작은 상수이다. 프로세서(30)에 인가된 처리 방법은 상술된 미국 특허 출원 09/778,849호에 상세하게 설명되어 있다.

프로세서(30)에 의해 가해질 수 있는 적용에서 설명된 기술에 대한 보다 상세한 설명은 아래에 보다 상세하게 설명되어 있다. 예를 들어, PSF h가 카메라의 이미지 필드상에서 변화할 수 있기 때문에, 디블러링 처리는 보통 각각의 세그먼트애의 상이한 DCF를 사용하여, 상이한 이미지 세그먼트로 개별적으로 적용될 수 있다. 디블러링된 세그먼트는 그 다음 최종 회복된 이미지를 발생시키기 위해 함게 스티칭된다. DCF를 이용한 이미지의 디블러링은 여기에 설명된 본 발명의 적어도 일부 실시예에서 사용되는 이미지 회복법이다. DCF는 주파수 대역 또는 공간 대역에서 적용될 수 있다. 동일하게, 이미지 재생의 대안 기술이 상술된 미극 특허 출원 및 본원 특허 출원을 읽을 때에 당업자에게 명백할 것이고, 본 발명의 범위내에 있는 것으로 생각된다.

도 4는 본 발명의 일실시에에따른, 카메라(20)내의 프로세서(30)에 의해 처리되기 위한, 어레이(22)에 의해 포착된 화소(54)의 매트릭스(50)의 개략 정면도이다. 매트릭스(50)는 어레이(22)의 대응하는 엘리먼트(24)에 의해 출력된 신호에 상응하는 값을 가진, 화소(54)로 구성된, 이미지 에어리어(52)를 포함하고 있다. 어레이(22)의 동작 레짐내의 대부분에 대하여, 신호(및 따라서 화소값)은 고정된 비율을 가지고, 상응하는 검출기 소자상에 입사된 광밀도에 비례한다. 그러나, 일탈 화소(56)와 같은 일부 화소에 대하여, 비례는 놈으로부터 일탈되어 예상된 것보다 높거나 낮은 감도를 제공한다. 결함 화소(57)와 같은 다른 화소는 상응하는 엘리먼트(24)가 비정상적으로 노이즈가 많거나 이들이 감도에 매우 낮은 감도(또는 아무런 감도)를 갖기 때문에 비정상적인 출력을 제공할 수 있다. 이러한 결함 롸고는 여기에 배드 화소로서 언급되었다. 이미지내의 "배드 화소"는 이미지내의 과다노출되거나 덜노출된 화소로부터 발생할 수 있고, 상호 인접한 배드 화소의 그룹은 이미지내에 배드 에어리어를 야기할 수 있다는 것에 주목해야 한다.

스폿(42)은 카메라의 물평면내의 포인트 소스의 이미지인 것이 효율적이다. 도 4에 스폿(42)로 표시된, 카메라의 PSF에 의해 야기된 블러링은 이미지의 저역통과 필터링과 효과면에서 등가이기 때문에 각가의 화소값은 그 이웃 화소의 값과 효과적으로 평균화된다. 따라서, PSF는 이웃하는 화소의 값에 있어서 가능한 차이에 대해 제한을 부여하고, 이것은 어레이(22)의 전체 동적 범위(예를 들어, 255:1)보다 실질적으로 적다. 이러한 제한값을 초과하는 이웃 화소 사이의 차이는 일탈 또는 배드 화소로 인해, 어레이의 엘리먼트(24)내의 결함을 나타낸다.

도 5는 본 발명의 일실시에에 따른, 이러한 배드 화소 및 일탈 화소를 식별하는 방법을 개략적으로 설명하는 순서도이다. 이 방법은 이것이 카메라(20) 또는 전자 이미징 디바이스의 다른 타입에 유사하게 적용될 수 있지만, 카메라(44)를 참조하여 아래에 설명되어 있다. 이러한 방법의 시작점으로서, 적용가능한 PSF는 60에 확인되어 있다. PSF는 당업분야에서 알려진 광학 방법을 사용하여 측정될 수 있거나 대안으로 광학(46)의 알려진 특정 및 어레이(22) 및 카메라(20)의 다른 두드러진 특성에 기초하여 계산될 수 있다. PSF는 62에서 이웃 화소의 값 사이의 최대 허용가능한 차이를 결정하기 위해 사용된다. 이러한 최대 차이는 예를 들어, 물평면내의 명 특징 및 암 특징 사이의 최대 대조의 샤프 에지의 에어리어에서, 공지된 PSF에 따른, 이웃하는 화소의 값을 계산함으로써, 결정될 수 있다.

카메라(44)는 64에서 이미지 통계치를 수집하기 위해 테스트 모드에서 동작된다. 테스트 모드에서, 카메라는 예르 들어, 상이한 이미지 타입 및 에어리어에 대하여 스캐닝될 수 있고, 상응하는 이미지의 시퀀스가 수집될 수 있다. 대안으로, 이미지 통계치는 캄라의 정상적인 동작 동안 수집될 수 있다. 그다음, 이미지의 시퀀스상의 이웃하는 화소의 값은 그 이웃과 병립불가능한 화소들을 식별하기 위해 66에서 비교된다. 병립불능의 2가지 타입은 주어진 화소 및 그 이웃 사이의 일탈의 패턴에 의존하여, 68에서 식별된다.

- 일정 일탈, 주어진 화소의 평균값이 그 이웃보다 일정한 비례 상수만큼 높거나 낮은 일탈 화소(56)의 특성. 이러한 경우에, 프로세서(30)는 상응하는 검출기 소자(24)의 일탈 감도에 대하여 적응하기 위해 어레이(22)에 의해 출력된 이러한 화소의 값에 적용될 교정 팩터를 70에서 결정한다.

- 일정 비례 팩터 없는 일탈, 아무런 유용한 정보를 주지 않는 것으로 생각된 배드 화소(57)의 특성, 프로세서(30)는 72에서 특별 처리를 위해 이러한 화소를 마킹한다. 프로세서(30)에 의해 이러한 배드 화소를 처리하는 것은 도 6을 참조하여 아래에 설명되어 있다.

배드 화소 및 일탈 화소에 대한 이러란 접근의 장점은 카메라가 여전히 양호한 품질의 이미지를 재생하면서 상대적으로 많은 수의 일탈 및/또는 결함 엘리먼트(24)를 가지고 어레이(22)를 사용할 수 있도록 한다는 것이다.

또한, 프로세서930)는 고유 결함을 가지고 있지만, 특정 이미지내에서 "배드" 출력 신호를 내는 화소를 식별하고 보상하는 것이 가능하다. 예를 들어, 카메라(44)가 광의 과도하게 밝은 포인트를 가진 신을 포착할 때, 이미지내의 대응하는 화소는 포화될 수 있고 블루밍은 포화가 이웃 화소로 분포되도록 할 수 있다. 이미지를 디블러링하기 전에, 프로세서(30)는 이러한 효과를 인식할 수 있고, 이러한 효과가 발생하는 화소를 배드 화소의 현재 맵에 더할 수 있다.

도 6은 본 발명의 일실시예에 따른, 디블러링된 출력 이미지(32)를 발생하는데 프로세서(30)에 의해 적용된 방법을 개략적으로 설명하는 순서도이다. 이 방법은 그중에서 특히 상술된 바와 같이, 80에서, 배드 화소의 맵D[x]을 생성하는 것에 기초하고 있다. 여기에서 x는 공간 (화소) 도메인내의 일반화된 벡터 좌표이다. D[x]는 배드 화소에 대한 0 값을 가지고 있고 그렇지 않은 경우에는 1을 가지고 있다.

이러한 방법의 목적을 위해, 배드 화소의 "블러링된" 맵은 82에서 맵D을 공액 PSF h*로 컴벌빙함으로서 생성된다. 공간 주파수 대역에서, 컨볼빙된 맵의 퓨리에 변환은 다음과 같이 주어진다.

(2)

여기에서, 와 는 각각 PSF 및 배드 화소 맵의 퓨리에 변환이고, q는 변환(주파수) 대역내의 일반화된 벡터 좌표이다. 새로운 보정 맵 M은 공간 도메인으로 M'을 변환하고 다음과 같이 설정함으로써 발견된다.

(3)

대안으로, M'은 퓨리에 변환에 의해 맵을 전후로 변환하기 보다는 공간 도메인에 대하여 계산될 수 있다. 배드 화소의 근방에서, 컨벌빙된 맵 값 M'[x]는 1돠 휠씬 작을 수 있고, 그래서 상응하는 보정 맵M[x]은 매우 클 수 있다. 발명자는 아래에 기술된 바와 같이, 이러한 보정 뱀을 사용함으로써, 최소 작업으로 보정 이미지의 신실하게 재구성한다는 점에서, 종래의 보간법보다 휠씬 더 나은 결과를 낸다는 것을 발견하였다. 이러한 작업은 그중에서도 특히 보상하기 위해 사용되어야 하는 PSF 및 DCF의 논-로컬화된 성질로부터 나온다. 단순한 보간이 배드 화소의 에어리어상에서 스무딩하기위해 사용될 때, 최종 이미지는 보통 (적어도 보간된 에어링어내에서) 블러링되어 있거나 주목할만한 작업에 의해 망가져 있다. 한편, 본 발명의 일부 실시예에 의해 제공된 보정 맵은 둘려싸는 양호한 화소의 언더라이잉 공간 주파수 구조를 보존하면서 배드 화소의 값을 대체한다. 그래서, 배드 화소로부터 그 근방의 다른 화소로의 작업의 전파는 실질상 감소된다. 대안으로, 보정 맵은 대수 형태에서 상이하지만, 식(3)에 정의된 것과 동작에서 유사한 다른 방정식을 사용하여 결정될 수 있다. 이러한 대안이 방정식은 본 발명의 범위내에 있는 것으로 생각된다. 임의의 경우에서, 여기에 설명된 배드 화소 대체 기술로 인해 어레이(22)는 카메라로부터의 출력 이미지에서의 실질적인 역효과를 야기하지 않으면서 상대적으로 많은 수의 배드 화소를 포함할 수 있다. 따라서, 카메라의 단가는 상대적으로 많은 수의 배드 화소를 가진 저비용, 저품질 어레이를 사용함으로써 감소될 수 있다.

프로세서(30)는 84에서 (광학(46)의 PSF에 의해 블러링된) 어레이(22)로부터의 입력 이미지를 수신한다. 이 이미지는 80에서 마킹되었던 위치에서, 배드 화소를 포함하고 있다. 프로세서는 86에서 배드 화소의 값을 추정된 보정 값으로 대체한다. 추정된 값은 예를 들어, 인접한 양호한 화소의 값으로부터 보간법에 의해 결정될 수 있다. 이 이미지내의 양호한 화소는 도 5의 70에서 발견된 교정 팩터에 의해 이들의 값을 조정할 필요가 없을 정도까지 불변상태로 남아 있다.

또한, 86에서 프로세서(30)는 이미지 에어리어(52)의 에지 주변에 프레임(58)을 더한다. 이러한 프레임의 목적은 이미지를 디블러링하는데 적용될 퓨리에 변환의 고유 주기를 제공하기 위한 것이다. 프레임(58)의 폭은 예를 들어, PSF의 반경에 대략 동일하다. 프레임(58)내의 화소는 도 6의 방법의 목적을 위해 "배드" 화소로서 처리된다. 이러한 화소의 초기 값은 에어리어(52)의 인접한 좌우 에지 또는 상하 에지에서 "양호한" 호소의 값 사이의 보간에 의해 얻어진다. 따라서, 프레임 화소는 이미지에 주기적인 구조를 더하게 되고, 이것은 공간 및 변환 도메인 사이의 이미지를 변환할 때 이미지 에지로 인해 유도될 수도 있는 작업을 억제하는데 유용하다.

86에서 얻어진 보정된, 프레임된, 블러링된 이미지 , B₀는 88에서 초기 디블러링된이미지 r₀를 발생시키기 위해 DCF(식1)로써 컨볼빙된다. 형식상, 단순히 하기 위해, r₀[x] = DCF*B₀[x]이고, 여기에서, 오퍼레이터 "*"는 컨볼루션을 나타낸다. 실제로, 동작은 보통 퓨리에 변환 도메인에서 실행되고, 상술된 미국 특허 출원 09/778,849호에 기술된 바와 같이, 노이즈 감소 단계가 뒤따른다.

그다음, 프로세서(30)는 90에서 이미지 품질을 향상시키기 위해 추가적인 처리가 요구되는지를 결정하기 위해 r₀를 평가한다. 90에서의 결정에 대한 기초는 경과된 처리 시간량 또는 수행된 반복횟수일 수 있거나, 이미지 품질의 측정치일 수 있다. 이러한 판정 기준은 아래에 보다 더 설명되어 있다. 프로세서(30)가 현 이미지의 처리가 완료되었다고 판정하면, 이미지는 92에서 출력되고 처리는 종료된다. 보통, 프레임(58)은 이미지를 출력하기 전에 제거된다. 대안으로, 프레임의 일부 또는 모두는 이미지의 뷰의 공칭 필드밖에 있었던 (카메라의 큰 PSF로 인한) 정보를 포함할 수 있기 때문에 출력 이미지내에 남아 있을 수 있다.

대안으로, 프로세서(30)는 물체의 보다 선명하고, 보다 정확한 이미지를 발생시키기 위해 현 이미지를 반복적으로 계속 처리할 수 있다. 이러한 목적을 위해, 블러링된 이미지 B_i[x](초기값은 B₀이다)와 이전 반복으로부터의 디블러링된 이미지 r_i[x](초기값은 r₀이다)는 94에서 아래의 배드 화소의 보다 나은 값과 함게, 새로운 블러링된 이미징 B_i ₊₁[x]을 생성하는데 사용된다.

(4)

달리 말하면, 이전의 디블러링된 이미지는 PSF로써 컨볼빙되어 있고, 배드 화소 맵 D는 배드 화소의 위치에서 B_i ₊₁로 구해진 화소값으로 대체되는데 사용된다. Bi내의 양호한 화소의 값은 불변으로 남아 있다.

향상된 배드 화소 화소값을 가진 새로운 블러링된 이미지 B_i ₊₁은 96에서 향상된 디블러링된 이미지 r_i+1을 생성하는데 사용된다. r_i+ ₁내의 화소값은 다음과 같이 표현될 수 있다.

(5)

여기에서, 컨볼루션 동작은 당업자에게 명백한 바와같이, 보통 식(5)의 항들을 퓨리에 변환 도메인으로 변환시킨 후 다시 공간 도메인으로 재변환시킴으로써 수행된다. r_i+1의 첫항은 단순히 DCF에 의해 새로운 블러링된 이미지 B_i ₊₁의 디블러링을 나타낸다. 제2항은 새로운 디블러링된 이미지내의 양호한 화소의 값에 대한 추정된 배드 화소 값의 효과를 제거하기 위해 추가되어 있다. 이러한 항은 식(3)에 나타나 있는 바와 같이 82에서 유도된 보정 맵 값을 사용한다. 각각의 반복에서, 이러한 항은 동작시키는 화소에 대한 새로운 값을 발생시키고, 그래서 보정 이미지의 실제 공간 주파수 구조를 보다 정확하게 재생한다.

이러한 포인트에서, 프로세서(30)는 90에서 디블러링된 이미지 및/또는 처리 시간 또는 경과된 반복을 다시 산정하고, 계산을 종료할 지 또는 다른 반복을 계속진행할지를 판정한다. 반복은 이미지가 92에서 최종 출력될 때까지 이러한 방식으로 무한히 계속될 수 있다.

또한 추가 이미지 개선 동작이 최종 이미지가 저장되고 및/또는 디스플레이되기 전에 92에서 적용될 수 있다. 추가동작은 일반적으로 이미지내의 노이즈를 감소시키고 및/또는 불순물을 제거하는 방향으로 진행된다. 예를 들어, 스무딩 필터는 노이즈를 감소시키기 위해 적용될 수 있다. 에지 컨트라스트를 유지하기 위해, 로컬 이미지 계조도가 결정되고, 그다음, 일차원 스무딩 필터가 로컬 계조도에 오소고날인 방향으로 적용될 수 있다.

또 다른 예로서, 이미지내의 실제 샤프 에지의 근방의 불순물로 종종 나타나는 "고스트 에지"는 또한 이러한 단계에서 제거될 수 있다. 이러한 목적을 위해, 에지 이미지는 이미재내의 실제, 강한 에지를 보존하면서 디블러링된 이미지를 스무딩함으로써 생성된다. 이러한 에지 이미지는 (강한 에지를 제외하고는 모두 부족하지만) 불순물이 없는 것으로 여겨진다. 블러링 및 회복 동작은 에지 이미지에 적용되어 그 결과, 고스트 에지가 출현하게된다. 이러한 나중 이미지로부터 불순물이 없는 에지 이미지를 제거하면 고스트 에지의 불순물(풋프린트)만 포함하는 이미지를 생성할 수 있다. 이제 고스트 에지의 풋프린트는 불순물을 제거하기 위해 오리지널 디블러링된 이미지로부터 제해질 수 있다.

대안으로 또는 추가적으로, 이미지 개선 및 불순물 감소의 다른 방법은 92에서 적용될 수 있다. 프로세서(30)에 의해 필요한 변경을 가하여 적용될 수 있는 방법예가 여기에 언급되어 통합된 미국 특허 4,691,366, 5,751,861호 및 6,094,467호에 기재되어 있다.

이미지 복구를 위해 최적화된 광학 설계

도 7은 본 발명의 일실시예에 따른 디블러링 기능을 가진 디지털 카메라내에 사용되기 위해 광학(46)을 설계하기 위한 방법을 개략적으로 설명하는 순서도이다. 이 방법은 이미지 복구 기능을 위해 최적화된 광학 설계를 위해 프로세서(30)에 의해 적용되기 위해 이러한 이미지 복구 기능의 선행지식을 이용한다. 초기 광학 설계를 발생시킨 후에, 광시스템의 광 PSF가 계산되고, 설계에 다른 광시스템에 의해 재생된 이미지에 디블러링 기능을 적용함으로써 얻어질 수 있는 개선된 PSF를 결정하는데 사용된다. 또한, 응답 매트릭스는 광학 설계에 기초하여 계산되고, 이것은 개선된 PSF에 대한 설계에서의 변화의 효과를 나타낸다. 광 시스템의 설계는 그후 이미지 복구후에 보다 더 개선된 PSF를 가질 새로운 설계를 제공하기 위해 응답 매트릭스에 기초하여 수정된다. 이러한 프로세스는 연속적으로 보다 양호한 설계를 제공하기 위해 반복될 수 있다. 도 7의 방법이 카메라(44)를 참조하여 그리고 도 5에 도시된 디블러링 방버에 대하여 아래에 설명되었지만, 이것은 당업분야에서 알려져 있는 바와 같이, 이미지 복구를 위한 다른 알고리즘을 사용하는 시스템을 포함하여, 다른 카메라 및 다른 타입의 전자 이미징 시스템에 적용될 수 있다.

이제 도 7의 방법을 상세하게 설명하면, 이전 스테이지에서와 같이, 광설계를 제공하기 전에, 수차 스코어가 100에서 광 설계에 사용되기 위해 정의될 수 있다. 이러한 스테이지는 필수는 아니지만, 아래에 설명된 반복식 설계의 보다 빠른 수렴을 얻기 위해 유용하다. 메릿 펑션이 광학기구(46)를 특성화할 수 있는 각각의 상당한 수차에 할당되어 있다. 이러한 목적을 위해, 발명자는 적, 녹, 및 청 칼러의 각각에 대하여 개별적으로, 당업분야에 알려진 바와 같이, 제르니케 다항식에 대하여 수차를 설명하는 것이 가장 편리하다는 것을 발견하였다. 제르니케 다항식은 예를 들어, 여기에 언급되어 통합된 Born & Wolf에 의한, Principles of Optics 4판(페가몬 출판사, 1970)의 섹션 9.2, 페이지 464-467에 설명되어 있다. (캘리포니아, 산디에고, ZEMAX Development에 의해 생상된) ZEMAX®와 같은 광 설계를 위한 스탠더드 소프트웨어 패키지는 이들이 발생하는 실질상 임의의 설계를 위한 제르니케 다항식 계수를 계산할 수 있다. 메릿 함수의 값은 태불러 폼으로 100에서 제공될 수 있다. 이러한 값의 발생은 도 8을 참조하여 아래에 설명되어 있다.

102에 초기 광 설계가 산출된다. 이 설계는 보통 적합한 컴퓨터 워크스테이션상에 동작하는 광설계 소프트웨어를 사용하여 발생된다. 소프트웨어는 전자 형태로 워크스테이션에 다운로드될 수 있거나 대안으로 CD-ROM 또는 DVD와 같은 접촉가능한 미디어로 제공될 수 있다. 광설계 소프트웨어는 여기에 기술된 최적 펑션을 수행하기 위해 추가 프로그램 컴포넌트를 포함한 상술된 ZEMAX 소프트웨어와 같은 오프셀프 패키지를 포함할 수 있다. 이소프트에어는 광 엘리먼트의 수, 재료, 공차, 초점 거리, 배율, 개구 (F-넘버) 및 해상도와 같은 광학기구(46)에 부여된 시스템 필요조건을 입력으로 수용한다. 살술된 바와 같이, 광학기구의 PSF로서 표현된 광해상도는 어레이(22)의 피치보다 실질상 큰 초점 스폿 사이즈를 보통 제공한다. 전체 시스템 해상도는 그후에 디블러링에 의해 개선된다.

광설계 소프트웨어는 설계의 모든 수차에서 취해진 메릿 스코어의 전체인 설계 스코어를 결정하는데 100에서 제공된 수차 스코어를 사용할 수 있다. 설계 스코어는 상술된 광학 필요고적에 종속된 메릿 스코어의 전체를 최대화하는 초기 설계를 발생시키기 위해 다른 것에 대하여 하나의 수차를 트레이드 오프하는 방법을 나타낸다. 이러한 방식으로 메릿 스코어를 사용한 결과로서, 102에서 발생된 광설계는 어레이(22)상에 형성된 이미지내의 최소 전체 블러를 제공하는 1이 아닐 수 있다. 그러나, 광이미지는 보다 나은 품질의 전자 출력 이미지를 제공하기 위해 프로세서(30)에 의해 보통 디블러링될 수 있는 수차의 콤비네이션에 의해 특성될 것이다.

광설계 소프트웨어는 또한 104에서 설계 변화 응답 매트릭스를 발생시기 위해 사용된다. 이러한 매트릭스는 광 시스템의 상이한 수차에 대해서 광설계 파라미터의 작은 변화가 가지는 임팩트를 반영한다. 변화될 수 있는 광설계 파라미터는 예를 들어, 렌즈의 두께 및 스페이싱은 물론 상이한 렌즈 표면의 곡면을 포함한다. 매트릭스는 비 Rⁱ _j = Δ(수차[j])/Δ(광학_파라미터[i])를 나타내는 엔트리 (i,j)를 가지고 있는 일종의 다차원 계조도이다.

광설계는 또한 106에서 연관된 이미지 품질 스코어 S 및 광학기의 SF를 계산하는데 사용된다. 이미지 평면내의 임의의 포인트에서의 전체 수차 - 그래서 PSF - 는 제르니케 다항식의 값을 단순히 합산함으로서 계산된 전체 웨이브 프론트 수차로부터 얻어질 수 있다. 상술된 바와 같이, 제르니케 다항식 계수는 상술된 ZEMAX와 같은 스탠더드 광설계 프로그램으로부터 출력으로서 일반적으로 유용하다. 106에서 계산된 이미지 품질 스코어는 보통 이미지내의 불순물에 대한 그리고 이미지 해상도에 대한 PSF의 효고를 조합하고, 선택된 이미지 복구(디블러링) 알고리즘을 사용하여 이러한 효과를 보상하는 프로세서(30)의 능력을 반영한다. PSF는 보통 파장에 따라 변화하고 전체 이미지 평면상에서 균일하지 않다. 따라서, 해상도 및 불순물 스코어는 보통 가중 애버리징에 의해, 이미지 평면내의 복수의 필드 포인트에서 계산된 후에 조합될 수 있다. 이미지 품질 스코어 S를 계산하는 방법예가 도 8을 참조하여 설명되어 있다.

이미지 품질 스코어상의 수차에서의 작은 변화의 효과는 108에서 결정된다. 이러한 스테이지에서, 작은 변화는 수차의 각가에서 만들어지고 이미지 품질 스코어에서의 최종 변화가 계산된다. 이러한 동작은 스코어 계조도 A_j = ΔS/Δ(수차[j])을 제공한다.

그후에, 104 및108의 결과는 110에서 S를 증가시키기 위해 하나 이상의 광설계 파라미터에 적용되어야 하는 최적 변화를 결정하기위해 조합된다. 엘리먼트 Rⁱ _j 및 Aj가 상기에 정의되어 있는 응답 매트릭스 R 및 스코어 계조도 벡터 A를 사용하여, 광설계 변화 벡터 ΔO는 다음과 같이 주어진다.

(6)

여기에서, R^t는 R의 헤르미티안 트랜스포스이다. ΔO의 각각의 엘리먼트는 102에 발생된 바와 같이, 현 광설계의 가변 설계 파라미터중 하나에 만들어져야 하는 변화를 나타낸다.

ΔO로 표시된 설계의 변화의 크기는 112에서 소정의 공차 임계값과 비교된다. 공차 임계값은 임시로 설정될 수 있지만 보통 카메라(44) 및 광학기구(46)에 대해 명시된 공차을 제조함으로써 결정된다. 예를 들어, 광 시스템내의 2개의 렌즈 사이의 스페이싱이 0.2 mm 내로 정확하도록 명시되어있다면 ΔO는에 의해 표시될 수 있는 0.1mm의 설계 스페이싱내의 변화를 구현하는 포인트는 거의 없다. ΔO의 엘리먼트가 모두 적용가능한 공차 임계값보다 모두 작다면 설계사이클은 종료되고설계는 114에서 재생을 위해 출력될 수 있다.

대안으로, ΔO는의 하나 이상의 엘리먼트가 112에서 공차 임계값을 초과하는 것으로 발견되는 동안, 설계 프로세서는 110에서 설계 변화ΔO를 구현하는 리바이스된 광설계를 발생시키기 위해 102로 돌아간다. 그다음, 104-110의 동작이 상술된 바와 같이 반복된다. 이러한 반복적인 프로세서는 ΔO의 모든 엘리먼트가 112에서 적용가능한 임계값보다 적다고 발견될 때까지 또는 특정 최대 수의 반복이 취해질 때가지 또는 일부 다른 기준 또는 기준의 조합이 만족될 때까지 계속될 수 있다.

도 8은 본 발명의 일실시예에 따른, 106에서 실행된 스코어링의 방법의 상세를 개략적으로 도시하는 순서도이다. 상술된 바와 같이, 이미지 품질 스코어는 해상도 스코어 및 불순물 스코어를 계산하고 조합으로써 결정된다. 개별적인 스코어는 이미지 필드내의 복수의 포인트에서 그리고 복수의 상이한 파장에서 계산될 수 있다. 일실시에에서, 스코어는 3개의 상이한 파장(적, 녹, 청)의 각각에서 양 X축을 따라 9개의 포인트에 대하여 계산된다. 광학기구가 원통형 대칭이기 때문에, 양 X 축상의 광학 특성은 전체 필드를 특성화기 위해 충분하다.

해상도 스코어를 찾아내기 위해, 개별적인 X- 및Y- 방향 해상도 스코어, S_x ^RES 및 S_y ^Res가 120에서 각각의 선택된 필드 포인트에서 각각의 파장에 대하여 결정된다. 필드 포인트가 X축을 따라 취해지기 때문에, S_x ^Res는 탄젠셜 평면에서의 해상도를 나타내고, S_y ^Res는 사지탈 평면에서의 해상도를 나타낸다. 일실시예에서, 스코어는 다음과 같이 각각의 필드 포인트 및 파장에서 계산된다.

1. PSF는 상술된 바와 같이 보통 제르니케 다항식 표현을 사용하여 수차에 기초하여 계산된다.

2. PSF는 센서 어레이(22)의 피치로 스케일링된다.

3. PSF는 대표적인 이미지를 발생시키기위해 적용된다. 보통, 값 1을 갖는 오리진(현 필드 포인트)에서의 화소를 제외하고 모든 곳에서 제로인 이상적인 이미지를 블러링함으로써 생성된다. 달리 말하면, I(x,y)=δx,y이고, 여기에서, I(x,y)는 이미지 화소 어레이이고, x,y는 정수 화소 좌표이고, δx,y는 크로넥커 델타 함수이다. 대안으로, 라인 또는 그리드 이미지와 같은 다른 타입의 대표적인 이미지가 사용될 수 있다.

4. 대표 이미지가 복구된 이미지 r(x,y)를 발생시키기 위해 상술된 바와 같이, 디컨볼루션 필터 DCF(h)를 사용하여 디블러링된다. 여기에서 h는 DCF를 발생시키는데 사용된 PSF이다. 다양한 디컨볼루션 필터가 선택될 수 있고 이러한 스테이지에서 사용될 수 있다. 예를 들어, h는 이러한 특정 필드 포인트 및 파장에 대하여 계산된 로컬 PSF로서 취해질 수 있고, DSF는 상기 식(1)에 의해 주어진 방정식을 사용하여, 이러한 로컬 값에 기초하여 계산될 수 있다. 대안으로, 단일, 최적화된 DCF가 모든 필드 포인트 및 파장에 대하여 사용될 수 있다. 이러한 동일한 최적화된 DCF는 카메라(44)에 의해 재생된 이미지를 디블러링하기 위해 프로세서(30)에 의해 연속으로 적용될 수 있다. 최적화된 DCF를 계산하는 방법예가 아래에 기술되어 있다.

5. 복구된 이미지 r(x,y)는 변환된 이미지 (p,q)를 주기 위해, 2차원 퓨리에 변환을 적용함으로써 공간 주파수 도메인으로 변환되고, 여기에서, (p,q)는 각각 X 방향 및 Y 방향의 공간 주파수이다.

6. X 방향의 스코어는 변환된 이미지에 의해 주어진 바와 같이, 블러링되고 복구된 X 방향의 스텝 함수의 기울기에 의해 결정된다.

여기에서, p_Max는 X 방향의 나이키스트 주파수이다.

7. Y 방향의 스코어는 마찬가지로 블러링되고 복구된 Y 방향의 스텝 함수의 기울기에 의해 결정된다.

이러한 경우에, q_Max는 Y 방향의 나이키스트 주파수이다.

모든 선택된 필드 포인트에서의 개별적인 X 및 Y 해상도 스코어는 124에서 전체 해상도 스코어를 내기위해 조합된다. 보통, 평균값은 배드 (낮은) 개별적인 해상도 스코어에 보다 큰 강조를 주는 방식으로 가중된다. 예를 들어, 전체 해상도 스코어는 개별적인 해사도 스코어의 역의 지수의 프로덕트일 수 있다(아래 식(7)을 참조). 가중된 평균화에 대한 대안적인 메커니즘은 당업자에게 명백할 것이다. 다른 대안으로서, 전체 스코어는 개별적인 스코어의 최악의 값과 동일하게 단순히 설정될 수 있다.

개별적인 불순물 스코어 S_x ^Art 및 S_y ^Art는 122에서 마찬가질 각각의 필드 포인트 및 파장에 대하여 계산된다. 개별적인 스코어는 아래와 같이 계산될 수 있다.

1. DCF에 의해 생성된불순물의 X 방향의 범위는 공간 도메인 함수R_x ^1D(x)를 내기 위해 1차원 퓨리에 변환을 (p,0)에 인가함으로써 결정된다. 이러한 하수는 보통 사이드 로브에 의해 둘려싸인 중앙 피크에 의해 특성화된다. X 방향에서의 불순물의 범위, Wx는 오리진으로부터 최상위 사이드 로브의 외부 경계의 거리에 의해 주어진다:

여기에서, εArt는 보통 1%의 일부 임계값이다.

2. DCF에 의해 생성된 불순물의 진폭은 최상위 사이드 로브의 내부 경계값:

를 찾은 후 이러한 경계의 오측의 최대 진폭: 를 찾음으로써 결정된다.

3. X 방향의 불순물 스코어는 프로덕트 S_x ^Art = W_xㆍA_x으로 주어진다.

Y 방향 불순물 스코어는 유사한 방식으로 계산된다.

전체 불순물 스코어는 126에서 보통 가중 평균값으로서 개별적인 스코어를 조합으로써 계산된다. 이러한 경우에, 웨이팅은 보다 많은 심각한 불순물에 가리키는 보다 높은 개별적인 스코어를 보통 강조한다. 대안으로, 124에서, 전체 불순물 스코어는 최악의 개별적인 스코어와 동일하도록 설정될 수 있다. 전체 이미지 품질 스코어 S는 그후 128에서 불순물 스코어 및 해상도의 평균으로서 결정된다. 예를 들어, 아래의 식(7)은 124,126 및 128의 동작을 조합한다.

(7)

여기에서, 합은 모든 필드 포인트 f 및 파장 ω 에서 취해진다. λ 는 시스템 필요조건에 따라 출력 이미지내의 불순물을 감소하는 것과 해상도를 향상시키는 것에 보다 큰 강조를 하기 위해 선택될 수 있는, 시험적으로 유도된 상수이다.

상술된 바와 같이, 임의의 적합한 DCF는 이미지 품질 스코어 및 계조도를 계산하는데 사용될 수 있다. 상이한 DCF가 상술된 바와 같이, 각각의 상이한 필드 포인트 및 파장에 대하여 사용될 수 있지만,

전체 필드에 대하여 단일, 균일한 DCF, 적어도 필드에 대하여 상대적으로 적은 변화를 가진 DCF를 사용하여 프로세서(30)를 구현하는 것이 보다 단순하다. 따라서, 도 7 및 도 8의 방법에 E라 광설계를 최적하는데 있어, 디블러링 알고리즘이 제공할 실제 이미지 개선을 광설계가 반영하도록 균일한 PSF를 사용하는 것이 역시 바람직하다.

일실시예에서, hOpt로 언급된 가중된 PSF가 광설계 프로세스의 목적을 위해 균일한 PSF로서 사용되어 있다. 가중 PSF는 상응하는 DCF가 실제로 재싱되는 카메라(44)의 최대수의 유닛에서 최적의 디블러링을 제공할 가장 높은 가능성을 가진다는 점에서 PSF의 최적화된 추정값을 제공한다. h_Opt는 이미지 필드상에 개별적인 PSF의 가중 평균값에 의해 이러한 목적을 위해 계산되었다. 가중 SF는 또한 센서 어레이(22)내에서, 광학기구(46)의 공차을 제조하는 것으로 인해 개별적인 PSF 값에서 일어날 수 있는 변화를 고려할 수 있고, 이는 카메라(44)의 다른 엘리먼트내에서 가능하다k. 예를 들어, h_Opt는는 시스템 공차의 바운드에 의해 정의된 바와 같이 상이한 광학 파라미터를 사용하여, 동일한 필드 포인트 및 파장에 대하여 계산된 복수의 상이한 개별적인 PSF로부터의 컨트리뷰션을 포함할 수 있다. 각각의 개별적인 PSF, h_i는 가중치가 1로 합산되도록 가중치 Wi만큼 평균화 프로세서에서 증배된다. 가중치는 하나의 파장을 (보통 그린) 다른 파장에 대하여 지지하고 및/또는 필드의 중심에 보다 가까운 필드 포인트에 보다 큰 중요도를 주기 위해 선택될 수 있다. 복수의 PSF가 상이한 광학 파라미터에 기초하여 계산될 때, 가중치는 또한 공차 범위내에 변화를 만들 확률을 반영할 수 있다.

이러한 조건에서, 이상 이미지에 비교하여 디블러링된 이미지의 가능한 일탈을 최소화하는 최적 DCF는 (주파수 도메인에서) 다음과 같이 주어지는 것으로 도시할 수 있다.

(8)

이러한 결과를 원래의 정의 DCF ≡ 1/h와 비교하면 다음의 결과를 얻을 수 있다.

(9)

"최적화된" PSF는 도 7 및 도 8의 방법에서 h로서 사용될 수 있고, 상응하는 DCFopt는 프로세서(30)에 의해 사용될 수 있다.

이제 도 7의 100에서, 메릿 함수가 초기 광학 설계의 수차를 스코어링하기위해 사용될 수 있다는 것을 일찍이 기술하였다. 메릿 함수는 태불러 형태로 그리고 제르니케 다항식 계수에 의존하여 광설계 소프트웨어에 보통 공급되어 있다. 메릿 함수값을 발생시키기 위해, 상으하는 제르니케 다항식에 의해 정의된 바와 같이, 각각의 수차는 PSF로 젼환된다. 이러한 PSF의 폼은 PSF가 나타내는 특정 수차로 인한 광이미지내에 발생된 블러를 반영한다. 스코어는 도 8의 방법을 사용하여 계산될 수 있다. 케르나이크 수차(4)(디포커스) 및 수차 (8)(코마)에 계산된 전형적인 X- 및Y- 해상도 스코어는 아래 표 1에 도시되어 있다.

수차 메릿 스코어

잔여 제르나이크 수차에 인가되는 메릿 스코어의 계산은 이전의 설명 및 예를 연구할 때 당업자에게 명백할 것이다.

설계예

도 9는 상술된 방법을 사용하여, 본 발명의 일실시예에 따라 설계된 광학기구(46)의 개략 측면도이다. 이러한 실시에에서, 광학기구(46)는 둘다 광축(134)상에 정렬된, 폴리메틸 메타크릴레이트로 만들어진 2개의 렌즈(130,132)를 포함하고 있다. 이 렌즈는 모두 원통형 대칭형이고, 렌즈(130)의 좌측으로, 무한대의 물평면을 가진 고정된 초점에 대하여 설계되었다. 렌즈(130)는 직경 2,5mm, 중심 두께 1,0mm이고, 곡면의 전후방 반경이 각각 2.12mm 및6.71mm인 구면이다. 렌즈(132)는 광축상에 렌즈(130)뒤에 1.6mm의 간격을 두고 떨어져 있고, 직경 4.5mm, 두께1.2mm이다. 필터(48)는 0.4mm의 두께의 BK7 글래스를 포함하고 있고, 렌즈(1320의 후방에 0.85mm 그리고 센서 어레이(22)의 평면 전방에 0.782mm에 위치되어 있다.

렌즈(132)의 전후면 모두 비구면이고, 도 7의 최적화 방법을 사용하여 결정된 비구면 프로파일을 가지고 있다. 비구면 프로파일을 결정하기 위하여, 렌즈 표면을 한정하는 함수의 계수는 응답 매트릭스내의 파라미터로서 포함되어 있다. 달리 말하면, 계조도 값 Rⁱ _j는 상술된 바와 같이, 비구면 렌즈 계수의 각각에 대하여 각각의 수차에 대하여 결정된다. 이러한 방법을 사용하여, 다음의 계수는 렌즈(132)의 표면에 대하여 결정된다.

비구면 렌즈 계수

비구면 프로파일의 다른 타입은 동일한 방법으로 한정되고 최적화될 수 있다.

발명자는 상술된 디블러링 함수와 연결되어 사용된 도 9의 광설계는 디블러링 없이 종래의 3개의 렌즈 물체에 의해 생성된 이미지와 같거나 보다 나은 변조 전달 함수(MTF)를 가진 카메라(44)로부터의 출력 이미지를 제공한다는 것을 발견하였다. 1.3 메가 화소를 가진 센서 어레이는 모든 경우에 사용되었다. 도 9내의 2개의 렌즈 설계는 3개의 렌즈 설계보다 생산 비용이 저렴하고 보다 좁다(전후 거리가 보다 짧다).

이제 본 발명의 일실시예에 따라, 상술된 광설계 및 이미지 처리 기술을 사용하여 얻어진 PSF의 향상을 나타내는 플롯인 도 10A/B, 도 11A/B 및도 12A/B에 대해 설명한다. 도 10A 및 도 10B는 파장 587.6mm의 광에 대하여, 광학기구의 이미지 평면내의 포인트 X = 2mm, Y= 0mm(즉, 광축으로부터 2mm에 배치된)에서의 도 9의 광학기구의 PSF를 개략적으로 도시하고 있다. 수평축은 센서 어레이의 화소 단위(즉, 피치)를 가지고 있다. PSF는 광학기구의 모든 상당한 수차의 합으로서 계산되고 이 수차는 보통 제르니케 다항식에 의하여 표현된다. 양 축상의 PSF의 범위는 대략 3 촤소이다.

도 11 및 도 11B는 도 10A 및도 10B의 SFdp 의해 생성된 블러에 대하여 보정하도록 계산된, DCF의 종래 커널의 X축 및 Y축을 다른 엘리먼트를 도시하고 있다.

도 12 및 도 12B는 도 11A 및 도 11B의 DCF가 도9의 광학기구에 의해 형성된 이미지에 적용될 때 얻어지는 PSF의 개선을 나타낸다. PSF의 범위는 이제 X방향 및 Y 방향의 각각으로 약 1 화소로 감소된다.

대안으로, 카메라(44)내의 프로세서(30)의 디블러링 능력은 예를 들어, 다음과 같은 다양한 다른 설계 트레이드오프를 얻는데 사용될 수 있다.

- 광학기구(460의 F-넘버는 감소되어, 보다 큰 개구를 주고 그래서 보다 양호한 광감도를 제공한다. 증가하는 F-넘버는 필드의 카메라의 깊이를 감소시키고 그래서 PSF를 넓게 하는 경향이 있지만, 이러한 효과는 프로세서(30)의 디블러링 기능의 컨볼루션 커널의 값을 조정하고 넓게 함으로써 오프셋될 수 있다.

- 카메라(44)에 의해 발생된 출력 이미지의 해상도는 비교가능한 센서 어레이 및 대물 광학기구를 구비한 종래 카메라의 해상도와 비교하여, 프로세서(30)에 의해 개선될 수 있다.

추가적으로 또는 대안으로, 카메라(44) (또는 카메라(20))의 능력은 초점 관계의 변화, 즉, 카메라의 이미지 거리에 비교된 물체 거리의 변화에 응답하여 DCF 계수를 조정하도록 프로세서(30)를 구성함으로써 개선될 수 있다. 예는 다음과 같다.

- 카메라(44)는 광기계 조정 없이 카메라에 매우 근접한 (보통 5-30cm) 물체를 이미징하기 위해 매크로 동작으로 스위칭할 수 있다. 종래의 카메라에서, 매크로 동작은 대물 렌즈의 위치에 대한 매우 정교한 기계적 조정을 필요로 한다. 카메라(30)에서, 상이한 물체 거리는 물체 거리에 따른 PSF 의 변화를 보상하도록 미리 계산된 DCF 계수의 변화에 의해 조정될 수 있다. DCF 계수는 룩업 테이블내에 프로세서(30)에 의해 저장될 수 있고, 매크로 동작은 소프트웨어 스위치에 의해 유도될 수 있다.

- 광학기(46)의 뷰의 필드는 개선된 와이드 각 동작을 위해 증가될 수 있다. 프로세서(30)에 의해 적용된 DCF는 특히 필드의 에지에서 PSF의 열화를 보상하도록 조정될 수 있다.

또한, 전자 줌 기능이 특히 도 2에 의해 보통 설명된 바와 같이, 무렌즈 카메라가 사용될 때 구현될 수 있다. 다른 애플리케이션이 당업자에게 명백하고 본발명의 범위내에 있는 것으로 생각된다.

상술된 실시에가 디지털 카메라의 특정 타입 및 설계에 대해 언급하고 있지만, 본 발명의 원리는 광학 전자 이미징 디바이스의 실질상 임의의 타입에 동일하게 적용될 수 있다. 따라서, 상술된 실시계는 단지 예로서 언급되었고, 본 발명은 여기에 특별히 도시되고 설명된 것에 제한되지 않는 것을 이해할 것이다. 본 발명의 범위는 상기 명세서를 읽을 때 당업자에게 일어나고 종래 기술에 나타나지 않은 수정 및 변경은 물론, 여기에 기술된 다양한 특징의 조합을 포함하고 있다.

Claims

광감지 엘리먼트상에 입사된 광방사에 응답하여 신호를 발생시키도록 채택된, 피치에 의해 특징지어진, 광감지 엘리먼트의 어레이; 및

광축을 가지고 있고 상기 광축에 대하여 원통형 대칭형의 특징을 가지고 있으며, 대물 광학기구의 최적 초점에서 어레이의 피치의 두배보다 큰 범위를 가지고 있는 점상분포함수(PSF)를 가지고 물체로부터의 광방사를 어레이상으로 포커싱하도록 배열된 대물 광학기구를 포함하고 있는 것을 특징으로 하는 이미징 장치.
제1항에 있어서, 상기 PSF의 범위는 적어도 상기 피치의 3배인 것을 특징으로 하는 이미징 장치.
제1항 또는 제2항에 있어서, 전자 이미지의 블러를 감소시키면서 상기 물체의 전자 이미지를 발생시키기 위해 상기 PSF에 반응하여 상기 어레이로부터의 신호를 처리하도록 결합된 이미지 프로세서를 포함하고 있는 것을 특징으로 하는 이미징 장치.
제3항에 있어서, 상기 어레이로부터의 신호는 각각의 화소 값을 가지고 있는 화소를 포함하고 있는 입력 이미지에 상응하고, 상기 이미지 프로세서는 상기 PSF에 기초하여, 상기 입력 이미지에 디컨볼루션 필터를 적용함으로써 상기 블러를 감소기키도록 채택된 것을 특징으로 하는 것을 특징으로 하는 이미징 장치.
제4항에 있어서, 상기 이미지 프로세서는 상기 어레이내의 하나 이상의 배드 엘리먼트를 식별하고, 보정된 블러링된 이미지를 재생시키기 위해 대체값으로 상기 입력 이미지내의 배드 엘리먼트의 근방의 화소의 화소값을 대체시키고, 그리고 복구된 이이미지를 발생시키기 위해 상기 보정된 블러링된 이미지에 상기 디컨볼루션 필터를 적용하도록 채택된 것을 특징으로 하는 것을 특징으로 하는 이미징 장치.
제4항 또는 제5항에 있어서, 상기 대물 광학기구는 상기 디컨볼루션 필터의 적용에 이어 전자 이미지의 품질을 최적화하도록, 상기 PSF에 응답하여 선택된 광학 특성을 가지고 있는 하나 이상의 렌즈를 포함하고 있는 것을 특징으로 하는 이미징 장치.
제4항 내지 제6항중 어느 한 항에 있어서, 상기 이미지 프로세서는 물체와 어레이 사이의 초점 관계의 변화에 응답하여 입력 이미지에 적용된 디컨볼루션 필터를 수정하도록 적용된 것을 특징으로 하는 이미징 장치.
제7항에 있어서, 상기 이미지 프로세서는 상기 물체가 상기 대물 광학기구로부터의 소정의 최소 거리보다 적을 때 매크로 디컨볼루션 필터를 선택하도록 채택된 것을 특징으로 하는 이미징 장치.
광감지 엘리먼트상에 입사된 광방사에 응답하여 신호를 발생시키도록 채택된, 피치에 의해 특징지어진, 광감지 엘리먼트의 어레이; 및

상기 어레이를 포함하고 있고 상기 어레이의 피치보다 실질상 더 큰 트랜스버스 디멘션을 가지고 있는 안에 개구가 형성되어 있는 카메라 본체를 포함하고 있고,

상기 개구 및 어레이는 물체로부터의 광방사가 상기 개구를 통과하고 실질상 광초점 엘리먼트의 간섭 없이 어레이상에 입사하도록 배열되어 있는 것을 특징으로 하는 이미징 장치.
제9항에 있어서, 디바이스의 뷰의 필드를 조정하도록 상기 어레이와 상기 개구 사이의 거리를 변화시키는, 상기 어레이 및 상기 개구중 적어도 하나에 연결된 메커니즘을 포함하고 있는 이미징 장치.
제9항 또는 제10항에 있어서, 상기 개구의 트랜스버스 디멘션은 피치보다 적어도 50% 더 큰 것을 특징으로 하는 이미징 장치.
제11항에 있어서, 상기 개구의 트랜스버스 디멘션은 피치의 적어도 2배 인것을 특징으로 하는 이미징 장치.
제12항에 있어서, 상기 개구의 트랜스버스 디멘션은 피치의 적어도 3배인 것을 특징으로 하는 이미징 장치.
제9항 내지 제13항중 어느 한항에 있어서, 이미지의 블러를 감소시키면서 물체의 전자 이미지를 발생시키도록 어레이로부터의 신호를 처리하도록 결합된 이미지 프로세서를 포함하고 있는 것을 특징으로 하는 이미징 장치.
제14항에 있어서, 상기 어레이로부터의 신호는 각각의 화소 값을 가지고 있는 화소를 포함하고 있는 입력 이미지에 상응하고, 상기 이미지 프로세서는 상기 PSF에 기초하여, 상기 입력 이미지에 디컨볼루션 필터를 적용함으로써 상기 블러를 감소기키도록 채택된 것을 특징으로 하는 것을 특징으로 하는 이미징 장치.
제15항에 있어서, 상기 이미지 프로세서는 상기 어레이내의 하나 이상의 배드 엘리먼트를 식별하고, 보정된 블러링된 이미지를 재생시키기 위해 대체값으로 상기 입력 이미지내의 배드 엘리먼트의 근방의 화소의 화소값을 대체시키고, 그리고 복구된 이미지를 발생시키기 위해 상기 보정된 블러링된 이미지에 상기 디컨볼루선 필터를 적용하도록 채택된 것을 특징으로 하는 이미징 장치.
특징적인 점상분포함수(PSF)를 가지고 초점 평면상에 문체로부터의 광방사를 포커싱하도록 배열된 대물 광학기구;

상기 초점 평면에 위치되어 있고 광감지 엘리먼트상에 입사된 광방사에 응답하여 신호를 발생시키도록 채택된 광감지 엘리먼트의 어레이; 및

상기 어레이로부터의 신호를 수신하도록 결합되어 있고, 상기 어레이내의 하나 이상의 배드 엘리먼트를 식별하고, 상기 PSF에 응답하여, 배드 엘리먼트로 인한 불순물의 전파를 감소시키면서 보정된 블러링된 이미지를 생성하도록 입력 이미지내의 배드 엘리먼트의 근방의 화소의 화소값을 수정하고, 그리고 복구된 출력 이미지를 발생시키기 위해 상기 PSF에 기초하여 상기 보정된 블러링된 이미지에 디컨볼루션 필터를 적용하도록 채택된 이미지 프로세서를 포함하고 있고,

상기 신호는 각각의 화소 값을 가지고 있는 화소를 포함하고 있는 물체의 전자 이미지에 상응하는 것을 특징으로 하는 이미징 장치.
제17항에 있어서, 상기 이미지 프로세서는 새로운 블러링된 이미지를 생성하기 위해 상기 복구된 이미지내의 배드 엘리먼트의 근방의 화소의 화소값을 반복적으로 수정하고, 감소된 블러를 가진 전자 이미지가 출력을 위해 발생될 때가지 새로운 복구된 이미지를 발생시키기 위해 상기 새로운 블러링 이미지에 디컨볼루션 필터를적용하도록 채택된 것을 특징으로 하는 이미징 장치.
제17항 또는 제18항에 있어서, 상기 이미지 프로세서는 상기 PSF에 응답하여 배드 화소의 화소 값을 대체한 대체 값을 결정하도록 채택된 것을 특징으로 하는 이미징 장치.
제19항에 있어서, 상기 이미지 프로세서는 실질상

에 의해 주어진 형태의 보정 맵 M[x]을 사용하여 상기 대체값을 결정하도록 채택되고, x는 화소 좌표값이고, M'[x]는 상기 PSF의 공액에 의한 상기 배드 엘리먼트의 맵의 컨볼루션에 의해 주어진 컨볼빙된 맵인 것을 특징으로 하는 이미징 장치.
제17항 내지 제20항중 어느 한항에 있어서, 상기 이미지 프로세서는 입력 이미지의 둘레의 더미 화소의 프레임을 추가하고, 보정된 블러링된 이미지를 생성하고 출력을 위한 전자 이미지를 발생시키는데 있어 배드 엘리먼트와 연관된 화소에 유사하게 상기 더미 화소를 처리하도록 채택된 것을 특징으로 하는 이미징 장치.
하나 이상의 배드 엘리먼트를 포함하고 있고 점상분포함수(PSF)에 의해 특징지어진 광검출 엘리먼트의 어레이로부터의 물체의 블러링된 입력 이미지를 수신하고, 상기 PSF에 응답하여, 상기 배드 엘리먼트로 인한 불순물의 전파를 감소시키면서 보정된 블러링된 이미지를 생성하기 위해 상기 블러링된 입력 이미지내의 배드 엘리먼트의 근방내의 화소의 값을 수정하고, 그리고 복구된 이미지를 발생시키기 위해 상기 보정된 블러링된 이미지에 디컨볼루션 필터를 적용하도록 채택된 적어도 하나의 집적 회로 디바이스를 포함하고 있는 것을 특징으로 하는 이미지 프로세서.
제22항에 있어서, 상기 이미지 프로세서는 새로운 블러링된 이미지를 생성하기 위해 상기 복구된 이미지내의 배드 엘리먼트의 근방내의 화소의 화소값을 반복적으로 수정하고, 감소된 블러를 가진 전자 이미지가 출력을 위해 발생될 때까지, 새로운 복구된 이미지를 발생시키기 위해 새로운 블러링된 이미지에 디컨벌루션 필터를 인가하도록 적용된 것을 특징으로 하는 이미지 프로세서.
광시스템을 생성하는 방법에 있어서,

광시스템의 설계를 생성하는 단계;

상기 설계에 따른 광시스템의 광 점상분포함수(PSF)를 계산하는 단계;

상기 설계에 따른 광시스ㅌ메에 의해 생성된 이미지에, 주어진 이미지 복구 함수를 적용함으로써 얻어질 수 있는 개선된 PSF를 결정하는 단계; 및

상기 개선된 PSF의 범위를 감소시키도록 광시스템의 설계를 수정하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제24항에 있어서, 상기 설계를 생성하는 단계는

복수의 광수차의 각각에 각각의 메릿 스코어를 할당하는 단계;

상기 설계의 특징인 광수차를 결정하는 단계;

상기 광수차에 응답하여 설계 스코어 및 각각의 메릿 스코어를 계산하는 단계; 및

상기 설계 스코어에 응답하여 설계를 최적화하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제25항에 있어서, 상기 각각의 메릿 스코어를 할당하는 단계는 PSF에 대한 각각의 광수차의 각각의 효과를 결정하는 단계 및 상기 각각의 효과에 응답하여 각각의 메릿 스코어를 계산하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제25항 또는 제26항에 있어서, 상기 광수차를 결정하는 단계는 상기 광수차의 제르니케 다항식 액스팩션을 발생시키는 단계를 포함하고, 상기 설계 스코어를 계산하는 단계는 상기 제르니케 다항식 익스팬션의 계수에 응답하여 각각의 메릿 스코어의 가중합을 계산하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제24항 내지 제27항중 어느 한항에 있어서, 개선된 PSF를 결정하는 단계는 계산된 광 PSF에 응답하여 디컨볼루션 필터의 계수를 결정하는 단계 및 계산된 광 PSF에 의해 특징지어진 대표 이미지에 디컨볼루션 필터를 인가하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제24항 내지 제28항중 어느 한항에 있어서, 설계를 수정하는 단계는 개선된 PSF에 대한 설계의 변화의 효과를 추정하는 단계 및 추정된 효과에 응답하여 광시스템의 설계를 수정하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제29항에 있어서, 개선된 PSF를 결정하는 단계는 상기 개선된 PSF에 의하여 이미지 품질 스코어를 계산하는 단계를 포함하고, 변화의 효과의 추정하는 단계는 변화에 대한 이미지 품질 스코어의 종속성을 찾아내는 단계를 포함하는 것을 특징으로 하는 방법.
제30항에 있어서, 상기 이미지 품질 스코어를 계산하는 단계는 고아시스템의 이미지 필드내의 복수의 포인트에서의 각각의 로컬 점상분포함수를 결정하는 단계 및 상기 로컬 점상분포함수에 응답하여 상기 이미지 품질 스코어를 결정하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제31항에 있어서, 상기 이미지 품질 스코어를 결정하는 단계는 복수의 포인트에서의 각각의 로컬 스코어를 찾는 단계 및 상기 이미지 품질 스코어를 발생시키기 위해 상기 로컬 스코어를 조합하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제31항 또는 제32항에 있어서, 개선된 PSF를 결정하는 단계는 로컬 점상분포함수의 가중합을 취함으로써 가중 PSF를 계산하는 단계를 포함하고, 변화의 효과를 추정하는단계는 가중 PSF에 대한 변화의 효과를 계산하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제30항내지 제33항중 어느 한항에 있어서, 상기 이미지 품질 스코어를 계산하는 단계는 개선된 PSF로써 생성된 이미지의 해상도를 나타내는 해사도 스코어를 찾는 단계, 상기 이미지내의 불순물의 레벨을 나타내는 불순물 스코어를 찾는 단계 및 상기 이미지 품질 스코어를 결정하기 위해 상기 해상도 스코어 및 상기불순물 스코어를 조합하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제30항 내지 제34항중 어느 한항에 있어서, 상기 이미지 품질 스코어를 계산하는 단계는 광시스템의 수차에 응답하여 상기이미지 품질 스코어를 결정하는 단계를 포함하고, 상기 이미지 품질 스코어의 종속성을 찾는 단계는 광수차의 변화에 대한 상기 이미지 품질 스코어의 계조도를 계산하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제35항에 있어서, 상기 이미지 품질 스코어의 종속성을 찾는 단계는 광시스템의 설계로의 특정 수정의 함수의 결과를 가져올 광수차의 변화를 나타내는 응답 매트릭스를 결정하느 단계를 포함하고, 설계를 수정하는 단계는 상기 계조도 및 상기 응답 매트릭스에 응답하여 설계에 인가되는 수정을 결정하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제24항 내지 제36항중 어느 한항에 있어서, 광시스템의 수정된 수정된 설계에 대하여, 반복적으로 반복하는 단계, 광 PSF를 계산하는 단계, 개선된 PSF를 결정하는 단계 및 설계를 수정하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제37항에 있어서, 반복적으로 반복하는 단계는 광 PSF를 계산하는 단계, 개선된 PSF를 결정하는 단계 및 반복중 하나에 의해 표시된 설계에 대한 수정이, 광시스템을 제조하는데 적용될 소정의 공차보다 적을 때까지 설계를 수정하는 단계를 통한 반복을 실행하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
제24항 내지 제38항중 어느 한항에 있어서, 상기 광시스템은 하나 이상의 광학 엘리먼트를 포함하고 있고, 설계의 변화는 상기 광학 엘리먼트중 하나의 공간 표면의 구면, 상기 광학 엘리먼트중 하나의 두께 및 상기 광학 엘리먼트 사이의 스페이싱중 적어도 하나의 변화를 포함하고 있는 것을 특징으로 하는 광시스템을 생성하는 방법.
제39항에 있어서, 상기 하나 이상의 광학 엘리먼트는 다항식 함수에 의해 한정된 적어도 하나의 표면을 가지고 있는 적어도 하나의 비구면 엘리먼트를 포함하고 있고, 설계를 수정하는 단계는 다항식 함수의 계수를 최적화하는 단계를 포함하는 것을 특징으로 하는 광시스템을 생성하는 방법.
설계에 따른 광시스템의 광 점상분포함수(PSF)를 계산하는 단계, 상기 설계에 따른 광시스테에 이해 생성된 이미지에, 주어진 임지 복구 함수를 적용함으로써 얻어질 수 있는 개선된 PSF를 결정하는 단계 및 개선된 PSF의 범위를 감소시키기 위해 광시스템의 설계를 수정하는 단계에 의해 최적화된 설계에 따라 생성되고 조립된 하나 이상의 광학 엘리먼트를 포함하고 있는 것을 특징으로 하는 광시스템.
제41항에 있어서, 상기 설계는 상기 광시스템의 수정된 설계에 대하여 반복적으로 반복하는 단계, 광 PSF를 계산하는 단계, 개선된 PSF를 결정하는 단계 및 상기 설계를 수정하는 단계에 의해 최적화되는 것을 특징을 하는 광시스템.
제40항 또는 제41항에 있어서, 상기 광시스템은 하나 이상의 광학 엘리먼트를 포함하고 있고, 상기 설계의 변화는 상기 광학 엘리먼트중 하나의 광학 표면의 구면, 상기광학 엘리먼트중 하나의 두께 및 상기 광학 엘리먼트 사이의 스페이싱중 적어도 하나의 변화를 포함하고 있는 것을 특징으로 하는 광시스템.
제43항에 있어서, 하나 이상의 광학 엘리먼트는 다항식 함수에 의해 한정된 적어도 하나의 표면을 가지고 있는 적어도 하나의 비구면 엘리먼트를 포함하고 있고, 상기 설계를 수정하는 단계는 상기 다항식 함수의 계수를 최적화하는 단계를 포함하는 것을 특징으로 하는 광시스템.
프로그램 명령어가 저장된 컴퓨터 판독가능 매체를 포함하고 있고, 상기 프로그램 명령어는 상기 컴퓨터에 의해 판독될 때, 상기 컴퓨터가 광시스템의 설계를 생성하고, 상기 설계에 따른 광시스템의 광 점상분포함수(PSF)를 계산하고, 상기 설계에 따른 광시스템에 의해 생성된 이미지에, 주어진 이미지 복구 함수를 적용함으로써 얻어질 수 있는 개선된 PSF를 결정하고, 그리고 상기 개선된 PSF의 범위를 감소시키기 위해 광시스템의 설계를 수정하도록 하는 것을 특징으로 하는 컴퓨터 소프트웨어 프로덕트.
상기 광감지 엘리먼트상에 입사된 광방사에 응답하여, 피치에 의해 특징지어진 상기광감지 엘리먼트의 어레이를 사용하여, 신호를 발생시키는 단계; 및

광축을 가지고 있고, 상기 광감지 엘리먼트의 어레이의 피치의 두배보다 큰 범위를 가진 점상분포함수(PSF)를 가지고 광 이미지를 형성하도로, 상기 광축 둘레에 원통형 대칭형에 의해 특징지어진 대물 광학기구를 사용하여 상기 어레이상에 물체로부터의 광방사를 포커싱하는 단계를 포함하는것을 특징으로 하는 전자 이미징을 위한 방법.
제46항에 있어서, 상기 PSF의 범위는 상기 피치의 적어도 3배인 것을 특징으로 하는 전자 이미징을 위한 방법.
제46항 또는 제47항에 있어서, 상기 전자 이미지의 블러를 감소시키면서 물체의 전자 이미지를 발생시키기 위하여 상기 PSF에 응답하여 상기 어레이로부터의 신호를 처리하는 단계를 포함하는 것을 특징으로 하는 전자 이미징을 위한 방법.
제48항에 있어서, 상기 어레이로부터의 신호는 각각의 화소값을 가지고 있는 화소를 포함하고 있는 입력 이미지에 상응하고, 상기신호를 처리하는 단계는 상기 PSF에 기초하여 상기 입력 이미지에 디컨볼루션을 적용하는 단계를 포함하는 것을 특징으로 하는 전자 이미징을 위한 방법.
제49항에 있어서, 상기 신호를 처리하는 단계는 상기 어레이내의 하나 이상의 배드 엘리먼트를 식별하는 단계, 보정된 블러링된 이미지를 생성하기 위해 대체 값으로써 상기입력 이미지내의 배드 엘리먼트의 근방내의 화소의 화소값을 대체하는 단계, 및 상기 보정된 블러링된 이미지에 디컨볼루션 필터를 적용하는 단계를 포함하는 것을 특징으로 하는 전자 이미징을 위한 방법.
제49항 또는 제50항에 있어서, 상기 광방사를 포커싱하는 단계는 상기 디컨볼루션 필터의 적용에 이어 상기 전자 이미지의 품질을 최적화하기위해 상기 PSF에 응답하여 선택된 광학 특성을 가지고 있는 하나 이상의 렌즈를 사용하여 상기 광방사를 포커싱하는 단계를 포함하는 것을 특징으로 하는 전자 이미징을 위한 방법.
제49항 내지 제51항중 어느 한항에 있어서, 상기 디컨볼루션 필터를 적용하는 단계는 상기 물체와 상기 어레이 사이의 초점 관계의 변화에 응답하여 상기 디컨볼루션 필터를 수정하는 단계를 포함하는 것을 특징으로 하는 전자 이미징을 위한 방법.
제52항에 있어서, 상기 디컨볼루션 필터를 수정하는단계는 상기 물체가 상기 대물 광학기구로부터의 소정의 최소 거리보다 적을 때 매크로 디컨볼루션 필터를 선택하는 단계를 포함하는 것을 특징으로 하는 전자 이미징을 위한 방법.
광검출 엘리먼트의 어레이내의 하나 이상의 배드 엘리먼트를 식별하는 단계;

상기 어레이를 사용하여 물체의 점상분포함수(PSF)에 의해 특징지어진 블러링된 입력 이미지를 포착하는 단계;

상기 배드 엘리먼트로 인한 불순물의 전파를감소시키면서 보정된 블러링된 이미지를 생성하기 위해 상기 블러링된 입력 이미지내의 배드 엘리먼트의 근방내의 화소의 값을 상기 PSF에 응답하여 수정하는 단계; 및

복구된 이미지를 발생시키기위해 상기보정된 블러링된 이미지에 상기 PSF에 기초하여 디컨볼루션 필터를 적용하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제54항에 있어서, 새로운 블러링된 이미지를 생성하기 위해 상기 복구된 이미지내의 배드 엘리먼트의 근방내의 화소의 값을 수정하는 단계 및 새로운 복구된 이미지를 발생시키기 위해 상기 새로운 블러링된 이미지에 상기 디컨볼루션 필터를 적용하는 단계를 반복적으로 실행하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제54항 또는 제55항에 있어서, 상기 입력 이미지 둘레의 더미 화소의 프레임을 추가하는 단계를 포함하고, 상기 더미 화소는 상기 보정된 블러링된 이미지를 생성하고 상기 복구된 이미지를 발생시킬 목적을 위해 상기 배드 엘리먼트와 연관된 화소와 동일하게 처리되는 것을 특징으로 하는 이미지 처리 방법.
제54항 내지 제56항중 어느 한항에 있어서, 상기 값을 수정하는 단계는 상기 PSF에 응답하여 배드 화소의 근방내의 화소값을 대체할 대체값을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제57항에 있어서, 상기 대체값을 결정하는 단계는 실질상 다음

에 의해 주어진 형태의 보정 맵 M[x]을 사용하여 대체값을 설정하는 단계를 포함하고, x는 화소 좌표값이고, M'[x]는 상기 PSF의 공액을 가지고 배드 엘리먼트의 맵을 컨볼루션함으로써 주어진 컨볼빙된 맵인 것을 특징으로 하는 이미지 처리 방법.
제54항 내지 제58항중 어느 한항에 있어서, 상기 하나 이상의 배드 엘리먼트를 식별하는 단계는 화소의 값 사이의 차이를 결정하는 단계 및 상기 차이를 상기 PSF에 의존하여 최대 차이와 비교하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.