KR101007754B1

KR101007754B1 - 에지 검출 및 보정항을 이용하여 컬러 필터 어레이의 색보간을 제공하는 방법 및 장치

Info

Publication number: KR101007754B1
Application number: KR1020087017803A
Authority: KR
Inventors: 이고르 수보틴
Original assignee: 마이크론 테크놀로지, 인크
Priority date: 2005-12-29
Filing date: 2006-12-19
Publication date: 2011-01-14
Also published as: WO2007078912A1; KR20080078076A; JP2009522864A; JP4893973B2; US20070153106A1; TW200735652A; TWI337499B; EP1969558A1; EP1969558B1; ATE520100T1; CN101336438A; CN101336438B; US7830426B2; US8212900B2; US20110032397A1

Abstract

에지 방향과 픽셀이 화상 내의 에지에 있는지의 여부에 따라 픽셀의 색 값을 상이하게 보간하는 색 평면 보간을 위한 방법 및 장치가 제공된다. 색 패턴에 존재하는 각 색의 보간 동안의 에지 검출의 이용은 주지의 디모자이킹(demosaicing) 기술의 많은 화상 샤프니스(sharpness)의 손실의 단점들 중 몇몇을 경감한다.

Description

에지 검출 및 보정항을 이용하여 컬러 필터 어레이의 색 보간을 제공하는 방법 및 장치 {METHOD AND APPARATUS PROVIDING COLOR INTERPOLATION IN COLOR FILTER ARRAYS USING EDGE DETECTION AND CORRECTION TERMS}

본 발명은 화상 센서에 의해 캡쳐(capture)된 화상에 이용하기 위한 디모자이킹(demosacing)에 관한 것이다.

이미저(imager)로도 알려진, 화상 센서는 주로 텔레비전 화상 획득, 전송, 및 표시를 위해 1960년대 후반과 1970년대 초반에 개발되었다. 이미저는 (광학 포톤(optical photon) 또는 엑스-레이 등과 같은) 특정 파장의 입사방사선(incident radiation)을 흡수하여 흡수된 방사선에 대응하는 전기 신호를 생성한다. 전하 결합 소자(CCD), 광다이오드 어레이, 전하 주입 소자(CID), 하이브리드 초점면 어레이, 및 CMOS 이미저를 포함하는 다수의 상이한 타입의 반도체-기반 이미저들이 있다.

이들 이미저는 일반적으로 광센서들을 포함하는 픽셀들의 어레이로 구성되며, 상기 어레이에 화상이 초점 맞추어질 때 각 픽셀이 그 소자에 충돌하는 광의 세기에 상응하는 신호를 생성한다. 그 다음에, 이들 신호는, 예컨대, 모니터 상에 대응 화상을 표시하거나 그게 아니면 광학 화상에 대한 정보를 제공하는 데 이용되 도록 저장될 수 있다. 광센서는 일반적으로 광트랜지스터, 광컨덕터, 또는 광다이오드이다. 각 픽셀에 의해 생성된 신호의 크기는, 따라서, 광센서 상에 충돌하는 광량에 비례한다.

광센서가 컬러 화상을 캡쳐할 수 있게 하기 위해서는, 예로서, 베이어(Bayer) 패턴을 이용하는 경우에, 광센서가 적색 (R) 포톤, 녹색 (G) 포톤, 및 청색 (B) 포톤을 개별적으로 감지할 수 있어야 한다. 따라서, 각 픽셀은 하나의 색 또는 분광 대역(spectral band)에만 감응해야 한다. 이를 위해, 컬러 필터 어레이(CFA)는 일반적으로, 각 픽셀이 그의 관련된 필터의 색의 광을 측정하도록, 픽셀의 앞에 위치된다. 따라서, 컬러 화상 센서의 각 픽셀은 특정 패턴(예컨대, 베이어 패턴)에 따라, 적색, 녹색, 또는 청색 필터로 덮인다.

대개의 저가 CMOS 또는 CCD 화상 센서들에 있어서는, 컬러 필터가 센서와 통합된다. 컬러 필터 패턴의 일반 예는 미국 특허 제3,971,065호(그 개시가 이 명세서에 참조로서 통합됨)에 예시된 타일화(tiled) 컬러 필터 어레이이며, “베이어 패턴”컬러 필터로서 일반적으로 언급된다.

도 1에 도시된 바와 같이, 베이어 패턴(100)은 필터 아래의 픽셀들로 하여금 각기 적색, 청색, 및 녹색 픽셀들이 되게 하는, 적색 (R), 녹색 (G), 및 청색 (B) 필터들이 반복되는 어레이이다. 베이어 패턴(100)에서는, 적색과 녹색 픽셀들이 어레이의 제1 로우(row)(105) 상에서 교번되고, 청색 및 녹색 픽셀들이 다음 로우(110) 상에서 교번되도록, 적색, 녹색, 및 청색 픽셀들이 배열된다. 이들 교번되는 로우들은 어레이의 전체에 걸쳐서 반복된다. 따라서, 화상 센서가, 라인 바 이 라인(line by line), 판독될 때, 제1 라인에 대한 픽셀 시퀀스(sequence)는 GRGRGR 등을 읽고, 그 다음 교번 라인 시퀀스가 BGBGBG 등을 읽는다. 이러한 출력이 순차 RGB 또는 sRGB로 칭해진다.

베이어 패턴(100)에서, 3개의 기본 색 모두에 대한 샘플링 비율(sampling rate)은 인간의 시각 시스템의 예민함에 따라 조정된다. 즉, 인간의 눈이 가장 민감하고 감응하기 쉬운 녹색은 대다수의 센서로 검출되는 반면에, 인간의 시각이 더 적은 분해능(resolution)을 갖는 청색 및 적색은 더 소수의 센서로 검출된다. 이것은 베이어 패턴에서, 녹색-감응 요소가 여타 모든 어레이 위치에서 생기는 반면, 적색-감응 요소와 청색-감응 요소는 4번째의 어레이 위치마다 생기기 때문이다.

도 2에 도시된 바와 같이 고체 화상 센서에서, 베이어 패턴 형성된 필터들은 어레이(200)의 픽셀 센서(205)들 위에 형성될 수 있다. 상세하게는, 어레이(200)의 픽셀 센서들(205)이 반도체 기판(210) 상에 형성된다. 각 픽셀 센서(205)는, 광게이트, 광컨덕터, 또는 광다이오드와 같은, 어느 포톤-전하 변환 소자도 될 수 있는, 감광 요소(215)를 갖는다. 컬러 필터 어레이(220)는, 절연체 금속화 패턴을 포함하는 층간 유전체 층(ILD)(235)과 보호층(230)과 같은 다양한 금속화 및 절연층들에 의해 광센서(215)로부터 분리되어, 어레이(200)의 상위 금속층(225) 위에 형성될 수 있다. 금속층(225)은 불투명일 수 있고 비감광인 픽셀의 영역을 차폐하는데 이용될 수 있다. 볼록 렌즈(240)는 컬러 필터(220) 위에 형성된다. 동작 시에, 입사광이 렌즈(240)에 의해 필터(220)를 통해서 감광 요소(215)에 초점 맞추어진다.

베이어 패턴 필터에 있어서는, 적색, 녹색, 및 청색에 대한 값들이 각각의 픽셀에 대해 필수이다. 각 픽셀 센서 셀이 하나의 색만을 검출하므로, 나머지 2개의 색에 대한 값들은 누락된 색을 검출하는 이웃 픽셀들로부터의 보간(interpolation)에 의해 계산된다. 이러한 색 평면 보간은 디모자이킹으로 알려져 있다. 예를 들어, 도 1을 참조하면, 픽셀 센서 셀(115)은, 픽셀 센서 셀(115)로 하여금 녹색 광을 검출하여 녹색 광만을 나타내는 신호를 생성하게 하는, 녹색 필터와 관련된다. 픽셀 센서 셀(115)에 대한 적색 및 청색 광량의 근사값을 획득하기 위해서, 이웃 적색 픽셀 센서 셀들(120, 125)과 이웃 청색 픽셀 센서 셀들(130, 135)로부터 값이 각각 보간될 수 있다. 디모자이킹이 올바르게 수행되지 않으면, 그 결과로서 생기는 화상에는 고도로 두드러진 색 흠결(color artifact)이 포함될 수 있다.

2002년 9월에 IEEE 트랜잭션스 온 이미지 프로세싱(Transactions on Image Processing), Vol.Ⅱ, No.9에서 공개되고, 바하디르 케이, 군터크(Bahadir K. Gunturk), 유셀 알툰바삭(Yucel Altunbasak), 및 러셀 엠. 메르세로(Russell M. Mersereau)에 의해 저술된, 제목“Color Plane Interpolation Using Alternating Projections”의 논문(그 개시가 이 명세서에 참조로서 통합됨)은 몇몇의 디모자이킹 기술들을 비교한다. 기술된 바와 같이, 이들 디모자이킹 기술들의 각각은 그들 개개의 장점 및 단점을 갖는다.

기술된 바와 같이, 각각의 픽셀에 대해, 제1 색에 대해 이용되는 값은 검출 색(즉, 픽셀의 센서(205)에 의해 검출되는 광)에 기반하며, 나머지 2개의 색에 대 한 값들은 대응되는 이웃 픽셀들의 검출 값으로부터 보간되는 값에 기반한다. 상기 각 검출된 값들은 픽셀 중심에서의 대표 색 값이다. 상기 각 보간된 색 값들도 픽셀 중심에서의 대표 값이다. 보간된 신호는 최초에 검출된 신호보다 본질적으로 더 낮은 품질이다. 예를 들어, 픽셀 중심에서의 보간된 적색 값은 동일 픽셀의 중심에 대해 검출된 적색 값과는 상이할 것이다.

일반적으로 누락된 색 구성 요소를 재구성만하는 디모자이킹법은 소위 지퍼 효과(zipper effect)와 랜덤 색점(random color dot)들과 같은 블록 노이즈를 초래할 것이다. 추가적으로, 노이즈에 대한 필터링과 샤프(sharp) 에지의 흐려짐(blurring) 간에는 트레이드 오프(trade off)가 존재한다. 주위의 픽셀 값을 이용하여 픽셀을 보간하는 것은 에지에서의 픽셀들이 보간될 때 화상을 흐리게 하는 경향이 있다. 또한, 이것은 에지에서의 화상의 샤프니스 감소도 이끈다. 이것은 주로 화상 내에 포함된 에지에 교차되는 픽셀들의 평균화에 기인한다. 디모자이킹법은 에지에서의 픽셀이 에지 픽셀의 요망되는 샤프니스를 갖지 않도록 픽셀들을 평균화한다. 따라서, 보간 값들을 계산할 때 화상 에지에 대해 검출 및 계산하는 개선된 디모자이킹 기술을 제공하는 색 평면 보간법에 대한 요망 및 필요가 있다.

에지 방향과 픽셀이 화상 내의 에지에 있는지의 여부에 따라 픽셀의 색 값을 상이하게 보간하는 색 평면 보간을 위한 방법 및 장치가 제공된다. 색 패턴에 존재하는 각 색의 보간 동안의 에지 검출의 이용은 주지의 디모자이킹 기술에서의 많은 화상 샤프니스의 손실의 단점들 중 몇몇을 경감한다.

본 발명의 상기 및 다른 장점과 특징은 첨부 도면을 참조하여 하기에 제공되는 모범적인 실시예들의 상세한 설명으로부터 더욱 명백해질 것이다.

도 1은 종래의 컬러 필터 어레이의 탑다운도이다.

도 2는 컬러 필터 어레이를 갖는 픽셀 어레이 일부의 단면도이다.

도 3A 및 도 3B는 본 발명의 모범적인 보간 스킴(scheme)에 이용되는 5 × 5 픽셀 커널의 모범적인 평면도이다.

도 4는 본 발명의 모범적인 실시예에 따라 이용되는 3 × 3 커널의 블록도이다.

도 5는 본 발명의 모범적인 실시예에 따라 구성된 픽셀 어레이를 갖는 CMOS 이미저 집적 회로(IC)의 블록도이다.

도 6은 본 발명에 따른 CMOS 이미저를 갖는 프로세서 시스템의 예시도이다.

도 7은 본 발명의 일실시예의 처리를 예시하는 플로우 차트이다.

하기의 상세한 설명에서는, 이 명세서의 일부를 형성하고 본 발명이 실시될 수 있는 특정 실시예들이 예시로서 도시된 첨부 도면에 대해 언급한다. 이들 실시예들은 당업자로 하여금 본 발명을 실시할 수 있도록 충분히 상세하게 기술되었으며, 다른 실시예들도 활용될 수 있고, 본 발명의 사상 및 권리 범위를 벗어남 없이 구조적, 논리적, 및 전기적 변형도 만들 수 있다는 것이 이해된다.

“픽셀”이라는 용어는, 광방사를 전기 신호로 변환하기 위한 광센서 및 트 랜지스터를 포함하는 픽처(picture) 요소 단위 셀을 말한다. 예시의 목적으로, 대표적인 픽셀이 도면과 이 명세서의 상세한 설명에 예시되었으며, 일반적으로, 이미저 내의 모든 픽셀의 제조는 유사한 방식으로 동시에 진행할 것이다. 하기의 상세한 설명은, 따라서, 한정의 의미를 갖지 않으며, 본 발명의 권리범위는 첨부된 청구범위에 의해서 규정된다.

본 발명의 단지 하나의 예시를 기술하는 유일한 목적을 위해서 본 발명에 따른 CMOS 이미저가 언급된다는 것을 이해해야 한다. 즉시로 명백해야할 것은, 본 발명이 CMOS 이미저에 한정되지 않고, 픽셀 위에 컬러 필터를 채용하는 CCD 및 다른 이미저들에도 적용된다는 것이다. 추가적으로, 본 발명은 표준 3 색 베이어 패턴을 이용하여 기술된다. 본 발명은 표준 3 색 베이어 패턴에 한정되지 않으며, 상이한 색들을 이용하거나 3 색 보다 많거나 적게 이용하는 색 공간에도 적용될 수 있다는 것을 이해해야 한다.

도 3A, 도 3B는 본 발명의 실시예에 따른 이미저의 부분적인 픽셀 어레이(300)의 탑다운도이다. 상세하게, 도 3A, 도 3B는 본 발명에 이용되는 5 × 5 커널(kernel)(하기에서 보다 구체적으로 논의됨)을 예시한다. 이전에 주목된 바와 같이, 각 픽셀, 예컨대, 픽셀(23)은 단일 색을 검출한다. 따라서, 각 녹색 (G) 픽셀은 녹색에 대한 검출 값을 제공한다. 유사하게, 각 청색 (B) 픽셀은 청색에 대한 검출 값을 제공하고 각 적색 (R) 픽셀은 적색에 대한 검출 값을 제공한다. 특정 색의 각 픽셀에 있어서, 나머지 색의 각각에 대한 값이 보간(interpolate)되어 컬러 화상을 재구성한다. 추가적으로, 하기에서 논의되는 바와 같이, 검출된 픽셀 값이 보간 값으로 대체될 수도 있다. 적색, 녹색, 및 청색 값의 보간은, (종래 기술의 시스템에서 널리 행해지는) 색들 중 하나에 대한 검출값과 나머지 2개의 색의 보간 값들의 이용으로부터 초래되는 불균형을 제거한다.

처리되고 있는 특정 픽셀(45)에 대해 도 3A, 3B에 도시되는 바와 같이, 많은 보간 계산에서 3 × 3 커널의 픽셀들만이 필요할지라도, 하기의 보간 계산에서는 5 × 5 커널의 주변 픽셀들이 이용된다. 그러나, 다른 커널 크기도 본 발명에 채용될 수 있다.

일반적으로, 각 선택된 픽셀에 대해서, 5 × 5 커널 내의, 3 × 3 보간 커널이 첫째로 정의되고, 상기 커널 내의 상기 픽셀에 대한 색 값이 그 다음으로 계산된다. 그 다음, 에지(edge) 방향이 판정된다. 픽셀 색과 에지 방향에 따라, 3 × 3 커널의 몇몇 값이 재계산될 수 있다. 그 다음에, 3 × 3 커널은 에지가 선택된 픽셀에 대해 존재하는지의 여부를 판정하는 데 이용된다. 그리고 나서, 에지가 존재하는지의 여부에 근거하여, 상기 픽셀 색, 보간 값이 계산된다. 상이한 보간 파라미터들이 처리된 픽셀이 화상 에지에 있는지의 여부와 더불어 픽셀의 검출 색에 근거하여 보간 처리에 적용된다.

본 발명의 보간 처리는 전반적인 보간 처리를 예시하는 도 7 플로우 차트로부터 더욱 분명히 이해될 수 있다. 단계(701)에서, 처리를 위한 픽셀이 선택된다. 상세한 설명의 전체에 걸쳐서, 도 3A, 3B에 예시되고 도 4의 중심 픽셀인 대표 픽셀(45)이, 처리되는 모범적인 픽셀로서 이용된다. 다음으로 단계(703)에서, 선택된 픽셀을 에워싸는 3 × 3 커널이 정의된다(에컨대, 도 3A 및 3B의 픽셀들(34, 35, 36, 44, 45, 46, 54, 55, 56)). 단계(705)에서, 픽셀(45)이 검출된 녹색 픽셀인지의 여부가 판정된다. 픽셀(45)이 녹색이면, 단계(707)에서, 3 × 3 커널에 대한 녹색 값이, 3 × 3 커널 내의 픽셀들로부터 실제 검출된 픽셀 값들을 이용하여 하기의 방정식 세트 (1)에 따라서 계산된다. 도 4는 3 × 3 커널 내의 픽셀들에 대해 계산된 녹색 값들(g11, g12, g13, g21, g22, g23, g31, g32, g33)에 대해서 3 × 3 커널 내의 위치들을 예시한다. 3 × 3 커널은 도 3A에 예시된 녹색 픽셀들(25, 34, 36, 45, 47, 54, 56, 65)의 실제 값들을 이용하여 계산된다. 3 × 3 커널은 하기의 방정식들을 이용하여 계산된다:

여기서, “P”는 픽셀 값이고 “xy”는 도 3A 및 3B에 도시된 픽셀 번호이다. 도 3A 및 3B에 도시된 바와 같이, “x”는 로우를 묘사하고 “y”는 칼럼(column)을 묘사한다. 만약 픽셀(45)이 적색이거나 도 3B에 도시된 바와 같이 청색이면, 단계(709)에서, 3 × 3 커널은 하기의 방정식 세트 (2)에 따라 녹색 픽 셀들(24, 26, 33, 35, 37, 44, 46, 53, 55, 57, 64, 65)의 값들을 이용하여 계산된다. 3 × 3 녹색 커널은 그 다음에 하기의 방정식들을 이용하여 계산된다:

본 모범적인 실시예에서, 동일 커널 값들이 주위의 녹색 픽셀들의 실제 검출 값들의 중앙 보간(median interpolation)을 이용하여 보간된다. 베이어 CFA에서 이전에 주목된 바와 같이, 녹색 픽셀이 가장 널리 행해지고 화상에 영향을 미치므로, 본 모범적인 실시예에서는, 3 × 3 보간 커널이 녹색이다. 도 4에 예시된, 3 × 3 커널(g11, g12, g13, g21, g22, g23, g31, g32, g33)의 픽셀들의 값들은, 도 3A 및 3B에 예시된 3 × 3 커널의 픽셀들의 녹색 값들의 계산 결과이다. 녹색 커널은 에지 검출 동안에 그리고 보정항(correction term)의 계산에 이용될 것이다. 당업자라면 다른 픽셀 색들이 3 × 3 보간 커널을 계산하는데 이용될 수 있다는 것 또는 커널이 상이한 크기일 수 있다는 것을 이해할 것이다.

다음으로, 도 7에 예시된, 단계(711)에서, 계산된 3 × 3 녹색 커널이 에지 방향을 판정하는 데 이용된다. 4개의 에지 방향의 값들은 단계(711)에서 계산된다. 도 4에 예시된 점선(2, 5, 8, 11)들은 에지 방향 계산이 완료된 4개의 방향이다. 나머지 점선들은 4개의 에지 방향 값들을 계산하는 데 이용하기 위한 모범예일 뿐이다. 각 점선의 합계는 하기의 방정식 세트 (3)에서 계산된다.

“DIR”은 값이고 “x”는 방향선 번호인, 에지 방향 값(DIR_x)은 방향선(2, 5, 8, 11)의 각각에 대해 계산된다. 하기의 방정식 세트 (4)는 4개의 에지 방향 값들을 계산하는데 이용된다.

최대 DIR 값을 갖는 방향이 에지 방향인 것으로 판정되며 단계(711)에서 판정된다.

다음으로 도 7에 예시된 단계(713)에서, 처리 중인 픽셀(45)이 녹색인지가 판정된다. 단계(713)에서, 픽셀(45)이 녹색이 아니면, 단계(714)에서 에지 방향이 선(2)(수평)에 있는지의 여부가 판정된다. 에지 방향이 수평이면, g22가, 도 3B에 예시되는, 에지 방향에 대한 계산을 위해 재계산된다. g22의 값은 방정식 g22=(g21+g23)/2를 이용하여 재계산된다. 단계(714)에서, 에지 방향이 수평이 아니면, 그 다음에 단계(715)에서 에지 방향이 선(5)(수직)의 방향에 있는지가 판정된다. 상기 방향이 수직 방향에 있는 것으로 판정되면, g22의 픽셀 값이 방정식 g22=(g12+g32)/2를 이용하여 재계산된다. 그러나, 단계(715)에서 에지 방향이 수직이 아니면, 단계(719)에서 g22의 값은 변경되지 않은 채로 남는다. 단계(713)에서 픽셀이 녹색인 것으로 판정되면, g22의 값은 변경되지 않은 채로 남는다.

다음, 처리된 픽셀(45)에 대해서 에지가 존재하는지를 판정하기 위해서, 보간 값들의 계산 시에 이용될 수 있는, 모든 픽셀에 대해 동일 색 픽셀들의 쌍들 간의 차분 값(difference value)이 계산된다. 단계(723)에서 만약 처리된 픽셀(45)이 녹색이면, 단계(725)에서 차분 값이 하기의 방정식 세트 (5)에 따라 계산된다.

단계(723)에서, 처리된 픽셀(45)이 녹색이 아닌 것으로 판정되면, 단계(727)에서 차분 값이 하기의 방정식 세트 (6)에 따라 계산된다.

단계(729)에서, 계산된 차분 값들 중 최대 차분 값이 미리 설정된 에지 임계값보다 더 큰지의 여부가 방정식 (7)을 이용하여 판정된다.

MAX(D₁...D₇)>에지 임계. (7)

최대 차분 값이 임계보다 더 작으면, 에지가 존재하지 않는 것으로 확인되고(단계 731), 그러나, 최대 차분 값이 임계보다 더 크면, 에지가 존재하는 것으로 확인된다(단계 733). 에지 임계는 특정 용도로 설정되거나 이용자의 프레퍼런 스(preference)에 기반하여 설정될 수 있다.

단계(729)에서 에지가 검출되지 않으면, 처리된 픽셀(45)이 녹색인지가 다시 판정된다. 처리된 픽셀(45)이 녹색이면, 단계(739)에서 제8 세트 (8)의 방정식이 픽셀(45)의 보간 적색, 녹색, 및 청색 값들을 계산하는 데 이용된다. 제8 세트 (8)의 보간 방정식은:

이고, 여기서 R₄₅, G₄₅, B₄₅는 처리된 픽셀(45)에 대한 적색, 녹색, 및 청색 보간 값들이다. 픽셀(45)이 녹색 픽셀일지라도, P₄₅의 실제 검출된 값과 더불어 그 주위의 다른 녹색 픽셀의 실제 값들도 이용하여 상기 값이 보간된다는 것을 주목하도록 한다.

단계(735)에서 처리된 픽셀(45)이 녹색이 아닌 것으로 판정되면, 단계(741)에서는 처리된 픽셀(45)이 청색인지가 판정된다. 처리된 45가 청색이면, 제9 세트 (9)의 방정식이 단계(747)에서 픽셀(45)의 적색, 녹색, 및 청색 값들을 계산는데 이용된다. 제9 세트의 보간 방정식은:

이고, 여기서 R₄₅, G₄₅, B₄₅는 픽셀(45)에 대한 적색, 녹색, 및 청색 보간 값들이다. 단계(741)에서, 처리된 픽셀(45)이 청색이 아니면, 픽셀(45)은 적색이며 제10 세트 (10)의 방정식이 단계(749)에서 픽셀(45)의 적색, 녹색, 및 청색 값들을 계산하는데 이용된다.

제10 세트의 보간 방정식은:

이고, 여기서 R₄₅, G₄₅, B₄₅는 픽셀(45)에 대한 적색, 녹색, 및 청색 보간 값들이다.

단계(729)에서 에지가 검출되고, 단계(734)에서, 처리된 픽셀(45)이 녹색이면, 픽셀(45)의 적색, 녹색, 및 청색 값들의 보간 값들은 제11 세트 (11)의 방정식을 이용하여 계산된다. 제11 세트의 보간 방정식은:

이고, 여기서 R₄₅, G₄₅, B₄₅는 픽셀(45)에 대한 적색, 녹색, 및 청색 보간 값들이며, DELTA_blue 및 DELTA_red는 보정항들이다. DELTA_blue 및 DELTA_red의 값들은 단계(711)에서 판정된 에지의 방향에 기반하여 계산된다. 에지 방향이 수평선(2) 방 향에 있으면, DELTA_blue=g22-(g21+g23)/2 및 DELTA_red=0 이고, 에지 방향이 수직선(5) 방향인 것으로 판정되면, DELTA_blue=0 및 DELTA_red=g22-(g12+g32)/2이다. 마지막으로, 에지 방향이 대각선 방향(11 또는 8)인 것으로 판정되면, DELTA_blue=g22-(g21+g23)/2 및 DELTA_red=g22-(g12+g32)/2이다.

단계(734)에서, 처리된 픽셀(45)이 녹색이 아니라고 판정되면, 단계(745)에서, 처리된 픽셀(45)이 청색인지가 판정된다. 처리된 픽셀(45)이 청색이면, 단계(751)에서 제12 세트 (12)의 방정식이 적색, 녹색, 및 청색 보간 값들을 계산하는데 이용된다. 제12 세트의 보간 방정식은:

이고, 여기서 R₄₅, G₄₅, B₄₅는 픽셀(45)에 대한 적색, 녹색, 및 청색 보간 값들이며, DELTA_red의 값은 방정식 DELTA_red=g22-(g11+g13+g31+g33)/4를 이용하여 계산된다. 단계(745)에서, 처리된 픽셀(45)이 청색이 아니면, 단계(753)에서 제13 세트 (13)의 방정식이 적색 처리된 픽셀(45)에 대한 적색, 녹색, 및 청색 값들을 계산하는 데 이용된다. 제13 세트의 보간 방정식은:

이고, 여기서 R₄₅, G₄₅, B₄₅는 픽셀(45)에 대한 적색, 녹색, 및 청색 보간 값들이며, DELTA_blue의 값은 방정식 DELTA_blue=g22-(g11+g13+g31+g33)/4를 이용하여 계산된다. 적색 및 청색 픽셀에 대한 DELTA 보정 값들은 에지 방향과 녹색 3 × 3 보간 커널에 기반한다.

기술된 바와 같이, 본 발명은, 녹색, 적색, 및 청색에 대한 보간 값들이 획득된 검출 값에 기반해서만 계산되지 않고, 처리된 픽셀이 화상 에지에 있는지의 여부에 기반해서도 계산되는, 색 평면 보간에 대한 새롭고 참신한 시스템 및 방법을 제공한다. 본 발명에 따르면, 검출 값과 보간 값 사이의 불균형이 각 색에 대한 값을 보간하는 것에 의해 제거된다. 또한, 에지 검출 및 보정항이 화상 에지의 흐려짐을 최소화하는 데 활용된다.

도 5는, 예로서, 베이어 패턴으로 배열된 2개의 녹색 픽셀 (G), 하나의 청색 픽셀 (B), 및 하나의 적색 픽셀 (R)을 갖는 영역(510)을 포함하는, 로우와 칼럼으로 배열된 복수의 픽셀들을 포함하는 픽셀 어레이(505)를 갖는 CMOS 이미저 집적 회로(IC)(500)의 블록도를 예시한다. 어레이(505)의 각 로우의 픽셀들은 로우 선택 라인(515)에 의해 동시에 모두 턴온되고, 각 칼럼의 픽셀들은 각각의 칼럼 선택 라인(520)에 의해 선택적으로 출력된다.

로우 라인(515)은 로우 어드레스 디코더(address decoder)(530)에 응답하여 로우 구동부(525)에 의해 선택적으로 능동화된다. 칼럼 선택 라인(520)은 칼럼 어드레스 디코더(540)에 응답하여 칼럼 선택부(535)에 의해 선택적으로 능동화된다. 픽셀 어레이(505)는 픽셀 신호 판독을 위한 적절한 로우와 칼럼 라인을 선택하기 위해 어드레스 디코더들(530, 540)을 제어하는 타이밍 및 제어 회로(545)에 의해 구동된다.

픽셀 리셋 신호(V_rst) 및 픽셀 화상 신호(V_sig)를 일반적으로 포함하는, 픽셀 칼럼 신호는 칼럼 선택부(535)에 관련되는 샘플 앤 홀드 회로(sample and hold circuit)(550)에 의해 읽힌다. 차분 신호(V_rst-V_sig)는 차동 증폭기(555)에 의해 각 픽셀에 대해 생성되며, 아날로그-디지털 변환기(570)(ADC)에 의해 증폭되고 디지털화된다. 아날로그-디지털 변환기(570)는 디지털화된 픽셀 신호를, 본 발명의 처리 방법(700)을 실행하는 화상 프로세서(575)로 공급한다. 대안적으로, 화상 프로세서(575)는 상이한 프로세서에 의해 본 발명에 따라 수신 및 처리될 수 있는, 아날로그-디지털 변환기(570)로부터 수신된 대로의 로 포맷(raw format)의 화상 파일을 출력할 수 있다.

픽셀 신호가 본 발명에 따라 보간되는 픽셀 어레이를 갖는 이미저 장치(605)를 포함하는 일반적인 프로세서 시스템이, 도 6에서 600으로 일반적으로 예시된다. 이미저 장치(605)는 픽셀 어레이로부터 공급되는 신호로부터 출력 화상을 생성한다. 프로세서 시스템은 CMOS 이미저 장치의 출력을 수신하는 시스템의 모범 예이 다. 제한 없이, 상기 시스템은, 컴퓨터 시스템, 카메라 시스템, 스캐너, 머신 비전(machine vision) 시스템, (의료 경구(pill) 센서와 같은) 의료 센서 시스템, 및 자동 진단 시스템, 그리고 본 발명을 활용할 수 있는 모든 다른 촬상 시스템을 포함할 수 있다. 대안적으로, 이미저 장치(605)의 화상 프로세서(575)가 프로그레스드(progressed) 화상 신호를 제공하는 경우에, 본 발명은 처리 시스템(600)에서 실행될 수 있다.

컴퓨터 시스템과 같은 프로세서 시스템(600)은, 예로서, 버스(620)를 통해 입출력(I/O) 장치(615)와 통신하는, 중앙 처리 장치(CPU)(610), 예컨대, 마이크로프로세서를 일반적으로 포함한다. 이미저 장치(605)도 버스(620) 또는 다른 통신 링크(link)를 통해 시스템과 통신한다. 프로세서-기반 시스템(600)은 랜덤 액세스 메모리(RAM)(625)를 또한 포함하고, 버스(620)를 통해 CPU(610)와 또한 통신하는, 플래시 메모리와 같은 탈착 가능 메모리(removable memory)(630)를 포함할 수 있다. 촬상 장치(600)는, 단일 집적 회로 또는 프로세서와는 다른 칩 상의 메모리 저장부와 함께하거나 함께 하지 않는, CPU, 디지털 신호 프로세서, 또는 마이크로프로세서와 같은 프로세서와 결합될 수 있다.

본 발명은 상기한 실시예들에 한정되지 않는다. 예를 들어, 처리 방법을 실시하는 프로그램이 RAM, 플로피 디스크, 데이터 전송, 컴팩트 디스크 등을 포함할 수 있는 캐리어(carrier) 매체에 저장될 수 있고, 그 다음에 본 발명에 따라 화상 파일을 수신하여 처리하는 관련 프로세서에 의해 실행되며, 또는 상기 처리 방법이 회로나 그것들의 결합에서 실시될 수 있다. 추가적으로, 본 발명은 기존의 소프트 웨어 어플레이션에 대해 플러그-인(plug-in)으로 구현될 수 있고 또는 그 자체로 이용될 수도 있다. 본 발명은 이 명세서에서 특정된 캐리어 매체에 한정되지 않으며, 본 발명은 당업계에 주지된 어떠한 캐리어 매체라도 이용하여 구현될 수 있다.

픽셀의 녹색, 적색, 및 청색에 대한 값을 보간하는 다른 방법들이 본 발명의 권리범위 내에 있고, 본 발명은 앞서 기술된 방정식이나 보정항의 이용에 한정되지 않는다. 상세하게는, 예컨대, 다른 주위 픽셀들이 이 명세서에서 논의된 것들에 추가되거나 대신하는 보간 값들을 계산하는 데 이용될 수 있다. 상기와 같이, 앞서의 상세한 설명 및 도면은 본 발명의 특징 및 장점을 획득하는 모범적인 실시예의 예시로서 간주될 뿐이다. 하기의 청구범위의 사상 및 권리 범위 내에 있는 본 발명의 어떠한 변형도 본 발명의 일부로서 간주되어야 한다. 따라서, 앞서의 상세한 설명 및 도면에 의해 한정되는 것으로 간주되지 않으며, 첨부된 청구범위의 권리범위에 의해서만 한정된다.

Claims

컬러 이미저에 의해 출력된 픽셀 값들을 이용하는 프로세서에 의해 수행되는 화상 픽셀에 대한 색 평면 보간 방법으로서, 상기 방법은,

처리를 위한 픽셀을 선택하는 단계;

상기 선택된 픽셀과 관련한 이웃 픽셀들의 커널(kernel)을 형성하는 단계;

색 패턴 중 하나의 색의 픽셀 값들을 상기 커널의 모든 상기 픽셀들에 대해 계산하는 단계;

적어도 세개의 에지 방향 값들을 판정하는 단계로서, 상기 세개의 에지 방향 값들은 각각 수평 에지 방향, 수직 에지 방향 및 대각선 에지 방향을 나타내는, 단계;

상기 계산된 상기 하나의 색의 커널 픽셀 값을 이용하고, 상기 에지 방향 값들에 기반한 에지의 방향 및 상기 선택된 픽셀이 화상 내의 상기 에지에 있는지 여부를 판정하는 단계로서, 상기 에지의 방향은 상기 에지 방향 값들의 최대 절대 값을 가지는 상기 에지 방향 값으로서 판정되는, 단계;

상기 판정된 에지 방향에 기반하여 상기 커널의 적어도 하나의 픽셀 값을 재계산하는 단계로서, 상기 적어도 하나의 픽셀 값의 재계산은 상기 에지 방향이 수평 또는 수직으로 판정된 경우에만 수행되는, 단계; 및

상기 이웃 픽셀들, 상기 선택된 픽셀이 상기 에지에 있는지 여부, 및 상기 에지의 방향에 기반하여 상기 선택된 픽셀에 대한 보간 값(interpolated value)을 상기 색 패턴의 각 색에 대해 생성하는 단계를 포함하는, 화상 픽셀에 대한 색 평면 보간 방법.
삭제
삭제
청구항 1에 있어서, 상기 색 패턴은 베이어(Bayer) 패턴인, 화상 픽셀에 대한 색 평면 보간 방법.
청구항 1에 있어서, 상기 하나의 색은 녹색인, 화상 픽셀에 대한 색 평면 보간 방법.
삭제
청구항 1에 있어서, 상기 선택된 픽셀이 화상 내의 에지에 있는지 여부의 상기 판정은,

동일 색의 상이한 픽셀 쌍들 간의 차분 값들의 계산; 및

최대 차분 값과 미리 설정된 임계값의 비교를 포함하는, 화상 픽셀에 대한 색 평면 보간 방법.
청구항 7에 있어서, 상기 픽셀 쌍들은 상기 선택된 픽셀을 포함하는, 화상 픽셀에 대한 색 평면 보간 방법.
화상 픽셀 센서들의 검출 어레이를 포함하는 컬러 촬상 장치로서, 상기 장치는,

제1 색의 검출 값들을 생성하는 데 이용되는 제1 복수의 화상 픽셀 센서들;

제2 색의 검출 값들을 생성하는 데 이용되는 제2 복수의 화상 픽셀 센서들;

제3 색의 검출 값들을 생성하는 데 이용되는 제3 복수의 화상 픽셀 센서들;

상기 제1 색의 검출 값들을 이용하여, 선택된 픽셀과 이웃 픽셀들을 포함하는, 픽셀 커널의 복수의 화상 픽셀들에 대해, 상기 제1 색에 대한, 제1 세트의 픽셀 값들을 판정하고, 상기 제1 세트의 픽셀 값들을 이용하여 적어도 세개의 에지 방향 값들을 판정하며, 상기 세개의 에지 방향 값들은 각각 수평 에지 방향, 수직 에지 방향 및 대각선 에지 방향을 나타내고, 상기 에지 방향 값들에 기반하여 상기 선택된 픽셀의 에지 방향을 판정하고, 에지가 상기 선택된 픽셀에 대해 존재하는지의 여부를 판정하며, 상기 제1 색에 대한 상기 제1 세트의 픽셀 값들, 이웃 픽셀들 및 상기 에지 방향에 기반하여 상기 선택된 픽셀의 상기 제1, 제2, 및 제3 색들에 대한 보간 값들을 계산하기 위한 보간 수단들; 및

상기 제1, 제2, 및 제3 색들의 보간 값들을 이용하여 대표 화상을 생성하기 위한 수단들을 포함하는, 컬러 촬상 장치.
삭제
청구항 9에 있어서, 적어도 하나의 상기 픽셀 커널 값은, 상기 보간 값들이 계산되기 전에 상기 에지 방향에 기반하여 재계산되는, 컬러 촬상 장치.
청구항 9에 있어서, 상기 픽셀 커널은 3 × 3 커널의 픽셀들인, 컬러 촬상 장치.
청구항 9에 있어서, 상기 에지 방향들은,

DIR_horizontal=max(│S1-S2│,│S2-S3│);

DIR_vertical=max(│S4-S5│,│S5-S6│);

DIR_diagonal1=max(│S7-S8│,│S8-S9│); 및

DIR_diagonal2=max(│S10-S11│,│S11-S12│),

로서 계산되고,

여기서, S1, S2, S3, S4, S5, S6, S7, S8, S9, S10, S11 및 S12는,

S1=g11+g12+g13

S2=g21+g22+g23

S3=g31+g32+g33;

S4=g11+g21+g31;

S5=g12+g22+g32;

S6=g13+g23+g33;

S7=g21+g11+g12;

S8=g13+g22+g31;

S9=g23+g32+g33;

S10=g21+g31+g32;

S11=g11+g22+g33; 및

S12=g12+g13+g23,

로서 계산되고, 여기서, g11, g12, 및 g13이 상기 커널의 제1 로우(row)의 픽셀 값들이고, g21, g22, 및 g23이 상기 커널의 제2 로우의 픽셀 값들이며, g31, g32, 및 g33이 상기 커널의 제3 로우의 픽셀 값들인 상기 커널을 이용하며, 상기 에지 방향은 최대 값을 갖는 방향인, 컬러 촬상 장치.
청구항 9에 있어서, 상기 에지는, 이웃 픽셀들의 차분 값들을 계산하고 최대 차분 값을 에지 임계에 비교하는 것에 의해 검출되는, 컬러 촬상 장치.
청구항 14에 있어서, 상기 차분 값들은, 상기 선택된 픽셀이 녹색일 때,

D₁=│P_x+1,y-1-P_x-1,y+1│;

D₂=│P_x,y-P_x,y+2│;

D₃=│P_x-1,y-P_x+1,y+2│;

D₄=│P_x,y-1-P_x+2,y+1│;

D₅=│P_x+1,y-P_x-1,y+2│; 및

D₆=│P_x+2,y-1-P_x,y+1│,

로서 계산되고,

여기서, P_x,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼(column)에 관련되는, 컬러 촬상 장치.
청구항 14에 있어서, 상기 차분 값들은, 상기 선택된 픽셀이 적색 또는 청색일 때,

D₁=│P_x+1,y-1-P_x-1,y+1│;

D₂=│P_x+1,y+1-P_x-1,y-1│;

D₃=│P_x,y+1-P_x,y-1│;

D₄=│P_x+1,y-P_x-1,y│;

D₅=│P_x,y-P_x,y-2│;

D₆=│P_x,y-P_x,y+2│; 및

D₇=│P_x,y-P_x+2,y│,

로서 계산되고,

여기서, P_x,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
청구항 12에 있어서, 상기 3 × 3 커널은, 상기 픽셀이 녹색일 때,

g11=P_x _-1,y-1;

g12=MEDIAN(P_x _-2,y,P_x _-1,y-1,P_x _,y,P_x _,y+1);

g13=P_x _-1,y+1;

g21=MEDIAN(P_x _+1,y+1,P_x _,y+2,P_x _,y,P_x _-1,y+1);

g22=P_x _,y;

g23=MEDIAN(P_x _+1,y+1,P_x _+2,y,P_x _,y,P_x _+1,y-1);

g31=P_x _+1,y-1;

g32=MEDIAN(P_x _,y-2,P_x _-1,y-1,P_x _,y,P_x _+1,y-1); 및

g33=P_x _+1,y+1,

로서 계산되고,

여기서, P_x _,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x _,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
청구항 12에 있어서, 상기 3 × 3 커널은, 상기 픽셀이 적색 또는 청색일 때,

g11=MEDIAN(P_x _-1,y-2,P_x _-2,y-1,P_x _-1,y,P_x _,y-1);

g12=P_x _-1,y;

g13=MEDIAN(P_x _-2,y+1,P_x _-1,y+2,P_x _-1,y,P_x _,y+1);

g21=P_x _,y-1;

g22=MEDIAN(P_x _,y-1,P_x _-1,y,P_x _+1,y,P_x _,y+1);

g23=P_x _+1,y+1;

g31=MEDIAN(P_x _+1,y-2,P_x _,y-1,P_x _,y+1,P_x _+2,y-1);

g32=P_x _+1,y;및

g33=MEDIAN(P_x _,y+1,P_x _+1,y+2,P_x _+1,y,P_x _+2,y+1),

로서 계산되고,

여기서, P_x _,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x _,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x _,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
청구항 9에 있어서, 상기 선택된 픽셀의 상기 제1, 제2, 및 제3 색들에 대한 상기 계산된 보간 값들은, 상기 선택된 픽셀이 녹색이고 에지가 존재하지 않을 때,

R_x,y=(P_x-1,y+P_x+1,y+P_x-1,y+2+P_x+1,y+2)/4;

B_x,y=(P_x,y-1+P_x,y+1+P_x+2,y+1+P_x+2,y-1)/4; 및

G_x,y=(P_x,y+P_x,y+2+P_x+1,y-1+P_x-1,y+1)/4,

로서 계산되고,

여기서, P_x,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
청구항 9에 있어서, 상기 선택된 픽셀의 상기 제1, 제2, 및 제3 색들에 대한 상기 계산된 보간 값들은, 상기 선택된 픽셀이 청색이고 에지가 존재하지 않을 때,

R_x,y=(P_x+1,y+1+P_x+1,y-1+P_x-1,y+1+P_x-1,y-1)/4;

B_x,y=(P_x,y+P_x,y-2+P_x,y+2+P_x+2,y)/4; 및

G_x,y=(P_x,y-1+P_x-1,y+P_x,y+1+P_x+1,y)/4,

로서 계산되고,

여기서, P_x,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
청구항 9에 있어서, 상기 선택된 픽셀의 상기 제1, 제2, 및 제3 색들에 대한 상기 계산된 보간 값들은, 상기 선택된 픽셀이 적색이고 에지가 존재하지 않을 때,

B_x,y=(P_x+1,y+1+P_x+1,y-1+P_x-1,y+1+P_x-1,y-1)/4;

R_x,y=(P_x,y+P_x,y-2+P_x,y+2+P_x+2,y)/4; 및

G_x,y=(P_x,y-1+P_x-1,y+P_x,y+1+P_x+1,y)/4,

로서 계산되고,

여기서, P_x,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
청구항 9에 있어서, 상기 선택된 픽셀의 상기 제1, 제2, 및 제3 색들에 대한 상기 계산된 보간 값들은, 상기 선택된 픽셀이 녹색이고 에지가 존재할 때,

R_x,y=(P_x-1,y+P_x+1,y)/2+DELTA_red;

B_x,y=(P_x,y-1+P_x,y+1)/2+DELTA_blue; 및

G_x,y=g22,

로서 계산되고,

여기서, g22와, 보정항 DELTA_red 및 DELTA_blue는 상기 커널 값들에 기반하고 상기 에지 방향에 기반하여 계산되고, P_x,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
청구항 9에 있어서, 상기 선택된 픽셀의 상기 제1, 제2, 및 제3 색들에 대한 상기 계산된 보간 값들은, 상기 선택된 픽셀이 청색이고 에지가 존재할 때,

R_x,y=(P_x+1,y+1+P_x+1,y-1+P_x-1,y+1+P_x-1,y-1)/4+DELTA_red;

B_x,y=P_x,y; 및

G_x,y=g22,

로서 계산되고,

여기서, g22와 보정항 DELTA_red는 상기 커널 값들에 기반하고 상기 에지 방향에 기반하여 계산되고, P_x,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
청구항 9에 있어서, 상기 선택된 픽셀의 상기 제1, 제2, 및 제3 색들에 대한 상기 계산된 보간 값들은, 상기 선택된 픽셀이 적색이고 에지가 존재할 때,

B_x,y=(P_x+1,y+1+P_x+1,y-1+P_x-1,y+1+P_x-1,y-1)/4+DELTA_red;

R_x,y=P_x,y; 및

G_x,y=g22,

로서 계산되고,

여기서, g22와 DELTA_red는 상기 커널 값들에 기반하고 상기 에지 방향에 기반하여 계산되고, P_x,y는 상기 선택된 픽셀이고, “x”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 로우에 관련되며, “y”는 상기 픽셀이 상기 선택된 픽셀 P_x,y에 관련되는 칼럼에 관련되는, 컬러 촬상 장치.
화상 픽셀 센서들의 어레이를 포함하는 촬상 장치를 포함하는 처리 시스템으로서,

상기 촬상 장치는,

제1 색의 검출 값들을 생성하는 데 이용되는 제1 복수의 화상 픽셀 센서들;

제2 색의 검출 값들을 생성하는 데 이용되는 제2 복수의 화상 픽셀 센서들;

제3 색의 검출 값들을 생성하는 데 이용되는 제3 복수의 화상 픽셀 센서들;

상기 제1 색의 검출 값들을 이용하여, 선택된 픽셀과 이웃 픽셀들을 포함하는, 픽셀 커널의 복수의 화상 픽셀들에 대해, 상기 제1 색에 대한, 제1 세트의 픽셀 값을 판정하고, 상기 제1 세트의 픽셀 값들을 이용하여 적어도 세개의 에지 방향 값들을 판정하는 것으로서, 상기 세개의 에지 방향 값들은 각각 수평 에지 방향, 수직 에지 방향 및 대각선 에지 방향을 나타내고, 에지가 상기 선택된 픽셀에 대해 존재하는지의 여부를 판정하며, 상기 에지 방향 값들에 기반하여 상기 선택된 픽셀의 에지 방향을 판정하고, 상기 제1 세트의 픽셀 값들, 이웃 픽셀들, 및 상기 선택된 픽셀의 상기 에지 방향에 기반하여 상기 선택된 픽셀의 상기 제1, 제2, 및 제3 색들에 대한 보간 값들을 계산하기 위한, 보간 처리 회로를 포함하는, 처리 시스템.
삭제
삭제
청구항 25에 있어서, 적어도 하나의 상기 픽셀 커널 값은 상기 에지 방향에 기반하여 재계산되는, 처리 시스템.
컬러 촬상 장치의 픽셀 센서들의 검출 어레이로부터 획득된 검출 값들을 사용하는 화상 프로세서에 의해 수행되는 디지털 컬러 신호 처리 방법에 있어서, 상기 방법은,

상기 픽셀 센서들의 각각으로부터 검출 값을 획득하는 단계로서, 상기 픽셀 센서들은 적색, 청색, 및 녹색 스펙트럼 중 하나의 파장으로 인가된 광에 대응되는, 단계; 및

에지 검출에 기반하여 상기 픽셀 센서들의 각각에 대한 적색 값, 청색 값, 및 녹색 값을 보간하는 단계를 포함하고, 상기 적색, 녹색 및 청색 값들을 보간하는 상기 단계는,

상기 픽셀 센서들의 각각에 대한 이웃 녹색 픽셀 센서들의 픽셀 값들을 이용하여 보간 값들의 녹색 커널을 계산하는 단계,

상기 보간 값들의 녹색 커널을 이용하여 상기 픽셀 센서들의 각각에 대한 적어도 세개의 에지 방향 값들을 판정하는 단계로서, 상기 세개의 에지 방향 값들은 각각 수평 에지 방향, 수직 에지 방향 및 대각선 에지 방향을 나타내는, 단계,

상기 픽셀 센서들의 각각에 대한 상기 에지 방향은 상기 에지 방향 값들의 최대 절대 값을 가지는 상기 에지 방향 값으로서 판정되는 단계,

상기 각각의 픽셀 센서가 에지에 있는지의 여부를 판정하는 단계, 및

이웃 픽셀 센서들의 픽셀 값들, 상기 보간 값들의 녹색 커널, 상기 각각의 픽셀 센서가 에지에 있는지 여부 및 상기 판정된 에지 방향에 기반하여 상기 각각의 픽셀 센서에 대한 상기 보간 값들을 계산하는 단계를 포함하는, 디지털 컬러 신호 처리 방법.
삭제
삭제
청구항 29에 있어서, 상기 각각의 픽셀 센서가 에지에 있는지의 여부를 판정하는 상기 단계는,

동일 색의 상이한 이웃 픽셀들의 쌍들 간의 차분 값들을 계산하는 단계; 및

최대 차분 값을 미리 설정된 임계값에 비교하는 단계를 포함하는, 디지털 컬러 신호 처리 방법.
컴퓨터로 하여금 색 패턴에 대한 색 평면 보간을 수행하게 하기 위한 컴퓨터 명령들을 저장하기 위한 컴퓨터 판독 가능 매체로서,

복수의 픽셀 센서들의 각각으로부터 검출 값을 획득하는 단계로서, 상기 복수의 픽셀 센서들은 적색, 청색 및 녹색 스펙트럼 중 하나의 파장으로 인가된 광에 대응되는 단계; 및

에지 검출에 기반하여 상기 픽셀 센서들의 각각에 대한 적색 값, 청색 값, 및 녹색 값을 보간하는 단계를 포함하고, 상기 적색, 녹색 및 청색 값들을 보간하는 상기 단계는,

상기 픽셀 센서들의 각각에 대한 이웃 녹색 픽셀 센서들의 픽셀 값들을 이용하여 보간 값들의 녹색 커널을 계산하는 단계,

상기 보간 값들의 녹색 커널을 이용하여 상기 픽셀 센서들의 각각에 대한 적어도 세개의 에지 방향 값들을 판정하는 단계로서, 상기 세개의 에지 방향 값들은 각각 수평 에지 방향, 수직 에지 방향, 및 대각선 에지 방향을 나타내는, 단계,

상기 픽셀 센서들의 각각에 대한 상기 에지 방향은 상기 에지 방향 값들의 최대 절대 값을 가지는 상기 에지 방향 값으로서 판정되는 단계,

상기 각각의 픽셀 센서가 에지에 있는지의 여부를 판정하는 단계, 및

이웃 픽셀 센서들의 픽셀 값들, 상기 보간 값들의 녹색 커널, 상기 각각의 픽셀 센서가 에지에 있는지 여부 및 상기 판정된 에지 방향에 기반하여 상기 각각의 픽셀 센서에 대한 상기 보간 값들을 계산하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
삭제
삭제
청구항 33에 있어서, 상기 각각의 픽셀 센서가 에지에 있는지의 여부를 판정하는 상기 단계는,

동일 색의 상이한 이웃 픽셀들의 쌍들 간의 차분 값들을 계산하는 단계; 및

최대 차분 값을 미리 설정된 임계값에 비교하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
컬러 이미저에 의해 출력된 픽셀 값들을 사용하는 프로세서에 의해 수행되는 픽셀 어레이의 선택된 픽셀에 대한 색 평면 보간 방법으로서, 상기 방법은,

상기 선택된 픽셀이 화상 에지에 있는지의 여부를 판정하는 단계;

제1 색의 검출 값들을 이용하여, 상기 선택된 픽셀과 이웃 픽셀들을 포함하는, 상기 픽셀 어레이의 픽셀 커널의 복수의 픽셀들에 대해, 상기 제1 색에 대한, 제1 세트의 픽셀 값들을 판정하는 단계;

상기 선택된 픽셀이 에지에 있으면, 상기 제1 색에 대한 상기 제1 세트의 픽셀 값들을 이용하여 적어도 세개의 에지 방향 값들을 판정하는 것으로서, 상기 세개의 에지 방향 값들은 각각 수평 에지 방향, 수직 에지 방향 및 대각선 에지 방향을 나타내며, 상기 에지 방향 값들에 기반하여 상기 에지의 방향을 판정하고, 상기 제1 색에 대한 상기 제1 세트의 픽셀 값들, 이웃 픽셀들 및 상기 에지 방향에 대응하는 제1 세트의 파라미터들에 기반하여 색 패턴의 각 색에 대한 픽셀 값들을 계산하는 것으로서, 상기 선택된 픽셀이 상기 색 패턴의 제2 색 또는 제3 색의 검출 값과 관련된 때, 상기 제2 및 제3 색들 중 적어도 하나에 대한 상기 계산된 픽셀 값들은 상기 제1 세트의 픽셀 값들 및 상기 에지 방향에 기반하여 계산되는, 단계; 및

상기 선택된 픽셀이 상기 에지에 있지 않으면, 제2 세트의 파라미터들을 이용하여 상기 이웃 픽셀들에 기반해서 상기 색 패턴의 각 색에 대한 픽셀 값들을 계산하는 단계를 포함하는, 색 평면 보간 방법.
청구항 37에 있어서, 상기 제1 및 제2 세트의 파라미터들은 상기 선택된 픽셀의 색에 기반하는, 색 평면 보간 방법
청구항 37에 있어서, 상기 색 패턴은 베이어 색 패턴인, 색 평면 보간 방법.
청구항 39에 있어서, 상기 제1 세트의 파라미터들은, 녹색 픽셀들에 대한 제3 세트의 파라미터들, 청색 픽셀들에 대한 제4 세트의 파라미터들, 및 적색 픽셀들에 대한 제5 세트의 파라미터들로 구성되는, 색 평면 보간 방법.
청구항 39에 있어서, 상기 제2 세트의 파라미터들은, 녹색 픽셀들에 대한 제6 세트의 파라미터들, 청색 픽셀들에 대한 제7 세트의 파라미터들, 및 적색 픽셀들에 대한 제8 세트의 파라미터들로 구성되는, 색 평면 보간 방법.