KR20100067440A - 컬러 보간 장치 - Google Patents

Abstract

이미지 센서에 의해 생성된 베이어 패턴 영상의 각 화소를 중심으로 설정된 복수의 설정영역에 대해 각각 휘도값을 연산하고, 상기 휘도값에 따라 상기 설정영역 각각의 에지를 판단하는데 사용되는 에지판단 임계값들을 결정하는 임계값 결정부; 상기 각각의 설정영역에 포함된 화소들의 화소값을 이용하여 해당 설정영역의 수평방향, 수직방향, 대각선 방향 및 중심 방향의 다방향 화소값 변화량을 산출하고, 상기 산출된 다방향 화소값 변화량을 이용하여 상기 각각의 설정영역에 대한 에지 정보를 연산하는 에지 정보 연산부; 상기 임계값 결정부에서 결정된 에지판단 임계값들과 상기 에지 정보 연산부에서 연산된 에지정보를 이용하여 상기 각각의 설정영역에 존재하는 에지의 종류를 판단하는 영역 판단부; 및 상기 에지의 종류에 따라 사전 설정된 컬러 보간 필터를, 상기 영역 판단부에 의해 각각의 설정 영역에 대해 판단된 에지종류에 따라 해당 설정영역에 적용하는 컬러보간 연산부를 포함하는 컬러 보간 장치가 개시된다.

컬러 보간, 베이어, 적색, 녹색, 청색, 에지, 수평, 수직, 대각선

Description

컬러 보간 장치{COLOR INTERPOLATION APPARATUS}

본 발명은 단일 이미지 센서(Single Image Sensor)에서 입력되는 베이어 패턴 영상의 각 화소의 컬러값을 결정하는 컬러 보간(Color Interpolation) 장치에 관한 것으로 더욱 상세하게는 영상에 존재하는 에지 성분의 다양한 방향성을 고려하여 화소의 컬러를 보간함으로써 더욱 정확한 컬러 보간을 수행할 수 있는 컬러 보간 장치에 관한 관한 것이다.

일반적으로 디지털 카메라(Digital camera), 캠코더(Camcorder), 카메라 폰 등은 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등의 이미지 센서(Image Sensor)를 사용하여 영상을 생성한다. 이러한 이미지 센서는, 포토 다이오드(Photodiode) 혹은 포토 트랜지스터(Photo Transistor)를 통하여 빛을 수광하고 수광된 빛에 따른 전기 신호를 생성한 후 아날로그/디지털 변환기(Analog/Digital Converter)를 이용하여 전기적인 디지털 영상 신호로 변환하여 출력하는 소자를 지칭하는 것이다.

컬러 영상은 적어도 각 화소(Pixel)마다 색의 3요소인 녹색(Green), 적색(Red), 청색(Blue)의 총 3 가지 색(색의 3요소)이 있어야 표현 가능하다. 따라서 컬러 영상을 표현하기 위해서는 3개의 이미지 센서와 각 센서마다 각각의 색상을 수광하기 위한 컬러 필터 및 각각의 센서를 구동하기 위한 구동회로가 필요하다. 일례로 방송 장비나 고성능 카메라 등은 3개의 이미지 센서를 사용하여 컬러 영상을 표현한다. 그러나 대부분의 디지털 카메라와 카메라 폰 등에서는 크기와 가격 줄이기 위하여 하나의 단일 이미지 센서를 사용하여 컬러 영상을 표현한다. 이미지 센서는 빛의 신호를 전기적 신호로 변환하는 기능을 가진 것으로 이미지 센서로부터 들어오는 신호는 컬러 영상이 아닌 피사체의 밝기 정보만을 가진 흑백 영상이다. 따라서 싱글 이미지 센서를 이용하여 컬러 영상을 표현하기 위해서는 이미지 센서에 컬러 필터 어레이(Color Filter Array, 이하 CFA)라는 특수한 필터 배열이 필요하다. 이러한 컬러 필터 어레이 중에서 가장 널리 사용되는 것이 베이어 패턴(Bayer Pattern)의 컬러 필터 어레이이다. 베이어 패턴의 컬러 필터 어레이는 하나의 화소가 하나의 색 정보만을 얻을 수 있으며, 그 패턴은 적색-녹색의 반복으로 이루어진 한 행과 녹색-청색의 반복으로 이루어진 한 행이 서로 번갈아 반복되도록 행 배치된다. 이러한 베이어 패턴의 컬러 필터 어레이를 사용한 경우 영상의 각 화소는 적색, 녹색 및 청색의 세가지 색 중 하나의 색 정보만을 갖는 베이어 패턴 영상이 이미지 센서로부터 출력된다. 따라서 완전한 컬러 영상을 얻기 위해서, 베이어 패턴 영상의 각 화소에 대해 해당 화소가 가지고 있는 색정보와 그 주변 화소들의 색 정보를 이용하여, 해당 화소가 갖지 않는 나머지 두 가지 색 정보를 복원하 는 과정이 필요하다. 이와 같이, 이미지 센서로부터 출력되는 베이어 패턴 영상에서 각 화소에 대한 3 가지 색 정보를 복원하여 컬러 영상을 생성하는 과정을 컬러 보간(Color Interpolation) 또는 디모자이킹(Demosaicking)이라 한다.

현재까지 이러한 컬러 보간 기법에 대한 다양한 연구가 이루어져 왔으며, 단순하게는 주위화소의 컬러값의 평균값으로 컬러를 보간하는 방법에서부터 에지의 유무 및 에지의 방향성에 따라 다양한 연산법을 적용하는 컬러 보간법까지 여러가지 컬러 보간법이 공지되어 있다. 이러한 컬러 보간법은 컬러보간의 대상이 되는 이미지에 존재하는 에지의 방향성, 이미지의 휘도, 이미지 센서의 종류 등의 여러가지 요소에 따라 다양한 방식으로 적용될 수 있으므로, 컬러 보간 기법에 대한 지속적인 연구 개발이 요구되고 있다.

본 발명은, 이미지의 휘도나 에지의 다양한 방향성까지 고려하여 더욱 정확하고 신속한 베이어 패턴 영상의 컬러 보간이 가능한 컬러 보간 장치를 제공하는 것을 해결하고자 하는 기술적 과제로 한다.

상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,

이미지 센서에 의해 생성된 베이어 패턴 영상의 각 화소를 중심으로 설정된 복수의 설정영역에 대해 각각 휘도값을 연산하고, 상기 휘도값에 따라 상기 설정영역 각각의 에지를 판단하는데 사용되는 에지판단 임계값들을 결정하는 임계값 결정부;

상기 각각의 설정영역에 포함된 화소들의 화소값을 이용하여 해당 설정영역의 수평방향, 수직방향, 대각선 방향 및 중심 방향의 다방향 화소값 변화량을 산출하고, 상기 산출된 다방향 화소값 변화량을 이용하여 상기 각각의 설정영역에 대한 에지 정보를 연산하는 에지 정보 연산부;

상기 임계값 결정부에서 결정된 에지판단 임계값들과 상기 에지 정보 연산부에서 연산된 에지정보를 이용하여 상기 각각의 설정영역에 존재하는 에지의 종류를 판단하는 영역 판단부; 및

상기 에지의 종류에 따라 사전 설정된 컬러 보간 필터를, 상기 영역 판단부 에 의해 각각의 설정 영역에 대해 판단된 에지종류에 따라 해당 설정영역에 적용하는 컬러보간 연산부

를 포함하는 컬러 보간 장치를 제공한다.

본 발명의 바람직한 실시형태는, 상기 이미지 센서로부터 입력된 전체 베이어 패턴 데이터에서 각 화소를 중심으로 하여 설정되는 복수의 설정영역의 형태로 베이어 패턴 데이터를 저장하는 베이어 패턴 데이터 저장부를 더 포함할 수 있다.

바람직하게, 상기 임계값 결정부는, 상기 각 설정영역에 포함된 각 색상 화소들의 화소값들을 이용하여 각 색상별 휘도값을 구하고, 상기 각 색상별 휘도값을 이용하여 상기 각 설정영역의 전체 휘도값을 산출할 수 있다.

바람직하게, 상기 에지정보 연산부는, 상기 각 설정영역에서 중심화소 및 상기 중심화소를 포함하는 열에 배치된 화소들 사이의 수직방향 변화량과, 상기 중심화소의 좌우로 이웃하는 열에 포함된 화소들 사이의 수직방향 변화량을 합산하여 상기 각 설정영역의 수직방향 변화량을 산출할 수 있다.

바람직하게, 상기 에지정보 연산부는, 상기 각 설정영역에서 중심화소 및 상기 중심화소를 포함하는 행에 배치된 화소들 사이의 수평방향 변화량과, 상기 중심화소의 상하로 이웃하는 열에 포함된 화소들 사이의 수직방향 변화량을 합산하여 상기 각 설정영역의 수평방향 변화량을 산출할 수 있다.

바람직하게, 상기 에지정보 연산부는, 상기 각 설정영역에서 중심화소 및 상기 중심화소를 포함하는 좌상향 대각선에 배치된 화소들 사이의 좌상향 대각선 방향 변화량과, 상기 중심화소를 포함하는 좌상향 대각선에 인접하여 나란히 배치된 화소들 사이의 좌상향 대각선 방향 변화량을 합산하여 상기 각 설정영역의 좌상향 대각선 방향 변화량을 산출할 수 있다.

바람직하게, 상기 에지정보 연산부는, 상기 각 설정영역에서 중심화소 및 상기 중심화소를 포함하는 우상향 대각선에 배치된 화소들 사이의 우상향 대각선 방향 변화량과, 상기 중심화소를 포함하는 우상향 대각선에 인접하여 나란히 배치된 화소들 사이의 우상향 대각선 방향 변화량을 합산하여 상기 각 설정영역의 우상향 대각선 방향 변화량을 산출할 수 있다.

바람직하게, 상기 에지정보 연산부는, 각 설정영역의 중심화소와 그에 대각선 방향으로 인접한 화소들을 이용하여 중심방향 변화량을 산출할 수 있다.

본 발명의 바람직한 실시형태에서, 상기 컬러보간 연산부는, 상기 영역 판단부에서 입력되는 각 설정영역의 에지종류에 대한 정보를 포함한 제어신호를 입력받아 상기 제어신호에 대해 사전 결정된 컬러보간 필터에 상응하는 값을 상기 베이어 패턴에 적용하기 위해 비트 이동 연산을 수행할 수 있다.

본 발명에 따르면, 보간 할 중심 픽셀과 주변 픽셀의 정보를 이용하여 입력 베이어 패턴 영상의 설정 영역내 휘도값을 결정하고 이 휘도값에 따라 에지 판단에 사용되는 에지판단 임계값들의 크기를 조정함으로써, 영상의 상태에 적응적으로 컬러 보간이 수행될 수 있다.

또한, 본 발명에 따르면, 설정영역 내에 존재하는 대각선 방향 에지를 추가적으로 판단하게 함으로써 더욱 정확한 에지 영역을 판단이 가능하다.

또한, 본 발명에 따르면, 설정영역에 컬러 보간을 위한 필터를 적용하는데 있어서, 비트 이동 연산 기법을 사용함으로써 곱셈기의 적용을 배제하여 보간 장치의 소형화와 고속화를 도모할 수 있었다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.

도 1은 본 발명의 일실시형태에 따른 컬러 보간 장치의 블록 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일실시형태에 따른 컬러 보간 장치는, 입력된 베이어 패턴 데이터를 저장하는 베이어 패턴 데이터 저장부(11)와, 상기 베이어 패턴 데이터로부터 에지 판단을 위해 사용되는 복수의 임계값을 결정하는 임계값 결정부(12)와, 상기 베이어 패턴 데이터로부터 화소값의 변화량을 이용하여 다방향의 에지정보를 연산하는 에지정보 연산부(13)와, 상기 임계값과 상기 다방향 에지정보를 이용하여 베이어 패턴의 일부에 설정된 설정영역에 존재하는 에지의 종류를 결정하는 영역 판단부(14)와, 상기 설정영역에 존재하는 에지의 종류에 따라 사전 설정된 컬러보간 필터를 적용하는 컬러보간 연산부(15)를 포함할 수 있다.

이하, 첨부도면을 참조하여 도 1에 도시된 본 발명의 일실시형태에 포함된 각 구성요소 각각의 동작 및 작용 효과에 대해 더욱 구체적으로 설명하기로 한다.

베이어 패턴 저장부(11)

상기 베이어 패턴 저장부(11)는, 이미지 센서로부터 입력되는 베이어 패던 데이터를 저장한다. 특히 상기 베이어 패턴 저장부(11)는 이미지 센서로부터 입력된 전체 베이어 패턴 데이터에서 각 화소를 중심으로 하여 설정되는 복수의 설정영역의 형태로 베이어 패턴 데이터를 저장할 수 있다. 예를 들어, 상기 베이어 패턴 저장부(11)는 도 2에 도시된 것과 같이, 25개의 화소를 포함하는 5×5의 메트릭스 형태로 설정영역을 결정할 수 있으며, 전체 베이어 패턴 데이터의 각 화소를 중심으로 도 2에 도시된 것과 같은 설정영역이 형성될 수 있다. 베이어 패턴 데이터에 대해 5×5의 메트릭스 형태로 복수의 설정영역을 설정하는 경우, 도 2에 도시된 것 과 같이 총 4 가지 종류의 패턴이 존재하게 된다. 도 2의 (a)는 중심화소(G13)가 녹색화소이고 중심화소의 수평방향으로 적색화소(R8, R18)이 인접하고 수직방향으로 청색화소(B12, B14)가 인접하는 설정영역을 도시하며, 도 2의 (b)는 중심화소가 적색화소(R13)인 설정영역을 도시하며, 도 2의 (c)는 중심화소가 청색화소(B13)인 설정영역을 도시하며, 도 2의 (d)는 중심화소(G13)가 녹색화소이고 중심화소의 수평방향으로 청색화소(B8, B18)가 인접하고 수직 방향으로 적색화소(R12, R14)가 인접한 설정영역을 도시한다. 설명의 편의를 위해 이하에서는 도 2의 (a)에 도시된 설정영역을 제1 설정영역, 도 2의 (b)에 도시된 설정영역을 제2 설정영역, 도 2의 (c)에 도시된 설정영역을 제3 설정영역, 도 2의 (d)에 도시된 설정영역을 제4 설정영역이라 하기로 한다.

임계값 결정부(12)

상기 임계값 결정부(12)는 각 설정영역별로 해당 설정영역에 존재하는 에지의 종류를 판단하기 위한 임계값을 해당 설정영역의 휘도값에 따라 결정한다. 도 3은 임계값 결정부(12)의 동작을 도시한 상세블럭도이다.

먼저, 상기 임계값 설정부(12)는 각 설정영역에 대한 휘도값을 연산한다. 예를 들어, 제1 설정영역에 대해 상기 임계값 설정부(12)는 각 색상의 화소값을 이용하여 각 색상의 휘도값을 하기 식 1과 같이 연산하고 각 색상의 휘도값을 이용하여 식 2와 같이 전체 휘도값을 연산할 수 있다.

[식 1]

[식 2]

상기 식 1, 식 2에서 Lum_g는 녹색 휘도값, Lum_r은 적색 휘도값, Lum_b는 청색 휘도값을 나타내며, Lum은 설정영역의 휘도값을 나타낸다.

이와 유사하게, 제2 설정영역에 대해서는 하기 식 3을 통해 각 색상의 휘도값을 연산하고, 제3 설정영역에 대해서는 하기 식 4를 통해 각 색상의 휘도값을 연산하고, 제4 설정영역에 대해서는 하기 식 5를 통해 각 색상의 휘도값을 연산한 후, 각 종류의 설정영역은 상기 식 2와 같이 설정영역의 휘도값을 결정할 수 있다.

[식 3]

[식 4]

[식 5]

상기 임계값 설정부(12)는, 상기 식 1 내지 식 5를 이용하여 구한 각 설정영역의 휘도값(Lum)의 크기에 따라, 이후 영역판단부(14)에서 이루어지는 설정영역에 존재하는 에지 종류 판단 과정에 사용되는 임계값을 결정할 수 있다. 본 발명은 설정영역의 에지판단에 사용되는 임계값을 설정영역의 휘도값에 적응적으로 변경한다. 예를 들어, 에지 종류 판단 과정에 사용되는 초기 에지판단 임계값이 사용자 설정 등에 의해 외부로부터 입력되고, 상기 임계값 설정부(12)는 설정영역에 대해 연산된 휘도값의 크기에 따라 상기 외부로부터 입력된 초기 에지판단 임계값의 크기를 조정하여 최종적으로 영역 판단부(14)에서 설정영역의 에지 판단에 적용되는 에지판단 임계값을 결정할 수 있다.

만약, 휘도값에 상관없이 일정한 임계값을 적용한 경우, 설정영역의 화소값들이 전체적으로 큰 값을 가지게 되면 각 방향의 성분들도 큰 값을 가지게 되며 이러한 방향 성분들을 나타내는 값들과 고정된 임계값을 이용하여 에지의 종류를 판단하게 되면 에지 판단의 오류가 발생할 수 있다. 본 발명은 휘도값에 따라 에지 판단의 임계값들의 크기를 적절하게 조정함으로써 설정영역에 대한 판단의 정확도를 향상시킬 수 있다.

에지 정보 연산부(13)

상기 에지 정보 연산부(13)는 상기 각각의 설정영역에 포함된 화소들의 화소값을 이용하여 해당 설정영역의 수평방향, 수직방향, 대각선 방향 및 중심 방향의 다방향 화소값 변화량을 산출하고, 상기 산출된 다방향 화소값 변화량을 이용하여 상기 각각의 설정영역에 대한 에지 정보를 연산한다. 도 4는 상기 에지 정보 연산부(13)의 동작을 더욱 상세하게 도시한 블록도이다.

상기 에지 정보 연산부(13)에서 연산되는 에지 정보는 설정영역의 수직방향 변화량, 수평방향 변화량, 좌상향 대각선 방향 변화량, 우상향 대각선 방향 변화량, 그리고 중심부의 좌우 미세 변화량을 구하고, 각 변화량 간의 차이값을 미리 연산한다. 상기 에지 정보 연산부(13)에서 이루어지는 연산은 패턴의 종류에 상관없이 화소 위치에 따라 이루어질 수 있다. 이하에서는, 예시로서 제1 설정영역에 대해 연산되는 상기 변화량 들을 설명하기로 하며, 다른 형식의 설정영역에서는 그에 대응되는 위치에 존재하는 화소들을 이용하여 동일한 연산이 수행되는 것으로 이해할 수 있을 것이다.

도 5는 제1 설정영역에서 수직방향 변화량, 수평방향 변화량, 좌상향 대각선 방향 변화량 및 우상향 대각선 방향 변화량을 구하는 데 사용되는 화소들을 도시한 도면이다.

먼저, 제1 설정영역에서 중심화소를 포함하는 열의 수직변화량과 그에 좌우로 인접한 열의 수직변화량을 연산하여 설정영역 전체에서의 수직 변화량을 하기 식 6과 같이 연산한다.

[식 6]

상기 식 6에서, △V는 설정영역의 수직 변화량을 나타낸다.

이와 유사하게, 상기 에지정보 연산부(13)는 중심화소를 포함하는 행의 수직변화량과 그에 상하로 인접한 행의 수평변화량을 연산하여 전체 설정영역에서의 수평변화량을 하기 식 7과 같이 연산한다.

[식 7]

상기 식 7에서, △H는 설정영역의 수평 변화량을 나타낸다.

상기 에지정보 연산부(13)는 중심화소를 포함하는 좌상향 대각선 방향의 변화량과 그에 인접한 동일 대각선 방향의 변화량을 연산하여 전체 설정영역에서의 좌상향 대각선방향 변화량을 하기 식 8과 같이 연산한다.

[식 8]

상기 식 8에서 △LD는 설정영역의 좌상향 대각선방향 변화량을 나타낸다.

상기 식 8과 유사하게, 상기 에지정보 연산부(13)는 중심화소를 포함하는 우상향 대각선 방향의 변화량과 그에 인접한 동일 대각선 방향의 변화량을 연산하여 전체 설정영역에서의 우상향 대각선방향 변화량을 하기 식 9과 같이 연산한다.

[식 9]

상기 식 9에서 △RD는 설정영역의 우상향 대각선방향 변화량을 나타낸다.

에지정보 연산부(13)는 상기와 같이 연산된 변화량들을 이용하여 각 변화량들의 차를 연산한다. 즉, 에지정보 연산부(13)는 하기 식 10과 같이 수평수직 방향 차성분을 연산하고 하기 식 11과 같이 대각선 방향 차성분을 구할 수 있다.

[식 10]

상기 식 10에서 △VH는 수평수직 방향 차성분이다.

[식 11]

상기 식 10에서 △RLD는 대각선 방향 차성분이다.

한편, 상기 에지정보 연산부(13)는 설정영역의 중심부의 미세 변화량을 연산하여 중심방향의 차성분도 연산한다. 도 6은 설정영역의 중심부의 미세 변화량을 연산하는데 사용되는 화소들을 표시한 도면이다. 상기 에지정보 연산부(13)는 하기 식 12와 같이 중심방향 변화량을 연산한다.

[식 12]

영역 판단부(14)

상기 영역 판단부(14)는 전술한 것과 같이 임계값 결정부(12)에서 결정된 에지판단 임계값과, 에지정보 연산부(13)에서 연산된 상기 변화량들 및 차 성분들을 이용하여 각각의 설정영역에 존재하는 에지의 종류에 대해 판단한다. 본 발명에서는 각각의 에지종류에 따라 보간을 위해 해당 설정영역에 적용할 필터들이 사전에 결정되어 있으며, 상기 영역 판단부(14)에서 결정되는 에지 종류에 따라 상기 사전설정된 해당 필터를 적용하여 보간연산을 수행한다.

이 때, 상기 영역 판단부(14)는 설정영역의 중심화소 색상에 따라 나누어 판단을 하게 된다. 즉, 상기 영역 판단부(14)는, 녹색화소가 중심화소인 제1 및 제4 설정영역과, 녹색 이외의 다른 색상이 중심화소인 제2 및 제3 설정영역으로 나누어 영역 판단(에지 종류 판단)을 수행한다. 이는, 제1 및 제4 설정영역의 경우 중심 화소가 녹색이기 때문에 적색와 청색 영역 판단에 있어 중심화소의 녹색 정보를 바로 이용하여 영역 판단을 할 수 있지만, 제2 및 제3 설정영역의 경우 중심 화소가 녹색이 아니기 때문에 적색와 청색 영역 판단에 있어 녹색 정보를 사용하기 위하여 보간된 녹색을 이용하여야 하기 때문이다. 도 7은 영역 판단부(14)를 더욱 상세하게 도시한 도면이다. 도 7을 참조하면, 본 발명의 일실시형태에서 상기 영역 판단부(14)는 제1 및 제4 설정영역과 제2 및 제3 설정영역으로 나누어 설정영역 내의 에지 종류를 판단함을 확인할 수 있다.

도 8은 영역 판단부(14)에서 수행되는 영역 판단의 절차를 종합적으로 도시한 플로 차트이다.

먼저, 제1 및 제4 설정영역의 녹색 영역 판단에 대해 알아보기로 한다. 제1 및 제4 설정영역의 경우 중심 화소가 녹색이기 때문에 베이어 패턴 데이터의 녹색의 값을 바꿀 필요가 없다. 따라서 제1 및 제4 설정영역의 녹색 판단은 도 8의 단계(S90)같이 이루질 수 있다. 도 8에서 베이어 패턴 데이터가 들어오면 임계값 결정부(12)과 영역 판단부(14)의 입력을 바탕으로 평탄(Flat) 영역인지를 판단한다. 평탄 영역인지를 판단하는 이유는 중심 화소의 영역이 평탄영역일 경우 주변 화소과의 조화를 위하여 입력되는 녹색 정보를 바꾸어 준다. 평탄 영역인지를 판단하는 식은 하기 식 13과 같다.

[식 13]

상기 식 13에서 th1은 임계값 결정부(12)에서 설정영역의 휘도값에 따라 결정된 임계값 중 하나이다. 상기 식 13을 만족하게 되면 중심 화소의 영역을 평탄영 역(Flat Area)로 판단하여 그에 해당하는 출력 신호를 컬러보간 연산부(15)로 전송한다.

다음으로 제2 및 제3 설정영역에 대해서는, 중심 화소가 녹색이 아니기 때문에 임계값 결정부(12)와 영역 판단부(13)의 입력을 바탕으로 녹색값을 만들어야 한다. 먼저 상기 식 13와 같은 방법으로 중심 화소 영역이 평탄 영역인지를 판단한다. 이어 평탄영역이 아닌 경우 하기 식 14에 따라 중심 화소 영역이 에지인지 판단한다(S91).

[식 14]

상기 식 14에서 th2 또한 임계값 결정부(12)에서 설정영역의 휘도값에 따라 결정된 임계값 중 하나이다. 상기 식 14에 따라 중심 화소 영역이 에지로 판단되면 하기 식 15에 따라 중심 화소 영역 즉, 보간할 녹색의 영역을 판단한다(S92).

[식 15]

예를 들어, 상기 식 15에 따라 최소값이 △V인 경우 중심 화소의 영역은 수직 에지로 판단되어 그에 해당하는 출력 신호를 컬러 보간 연산부(15)로 전송할 수 있다. 또한, 상기 식 14에 의해 중심 화소 영역이 에지가 아닌 경우, 대각선 에지인지를 판단한다(S93). 하기 식 16은 대각선 에지인지를 판단하기 위한 식이다.

[식 16]

상기 식 16에서 th3 또한 임계값 결정부(12)에서 설정영역의 휘도값에 따라 결정된 임계값 중 하나이다. 상기 식 16에 따라 중심 화소 영역이 대각선 에지로 판단되면 △RD와 △LD의 크기 비교를 통하여 △RD가 △LD보다 크면 좌상향 대각선 에지로, △RD가 △LD보다 작으면 우상향 에지로 판단한다. 이렇게 판단된 영역에 해당하는 출력 신호를 컬러 보간 연산부(15)로 전송한다. 상기 식 16에서 중심 화소 영역이 대각선 에지로 판단되지 않으면 다시 하기 식 17에 의해 제1 텍스쳐 에지 또는 제2 텍스쳐 에지 인지를 판단한다(S932).

[식 17]

상기 식 17에서 th4 또한 임계값 결정부(12)에서 설정영역의 휘도값에 따라 결정된 임계값 중 하나이다.

이제 적색과 청색 영역 판단에 대해 설명하기로 한다. 적색과 청색의 영역 판단에 앞서 수평 방향과 수직 방향의 세부 영역 판단에 대해서 설명하기로 한다. 본 발명에서 세밀한 영역이란 수평 방향은 위쪽 수평 방향(Top Horizontal)과 아래쪽 수평 방향(Bottom Horizontal)으로 수직 방향은 왼쪽 수직 방향(Left Vertical)과 오른쪽 수직 방향(Right Vertical)으로 나누는 것을 말한다. 도 9는 상기 4가지 세부 영역을 도시한 도면으로, 도 9의 (a)는 아래쪽 수평 방향(Bottom Horizontal), (b)는 위쪽 수평 방향(Top Horizontal), (c)는 오른쪽 수직 방향(Right Vertical), 그리고 (d)는 왼쪽 수직 방향(Left Vertical)을 나타낸다. 상기의 4가지 세부 영역을 판단하기 위해서는 제1, 4 설정영역과 제2, 3 설정영역에 따라 다른 수식을 사용할 수 있다.

먼저 제1, 4 설정영역에서 세부 영역을 판단하기 위하여 도 10과 식 18, 식 19을 이용하여 적색과 청색 세부영역을 판단한다. 도 10은 제1 설정영역을 일례로 도시한 도면으로, 도 10 (a)는 수평 방향, (b)는 수직 방향의 연산 과정을 나타낸다.

[식 18]

[식 19]

그리고 제2, 3 설정영역인 경우, 세부 영역을 판단하기 위해 보간된 녹색 정보를 이용한다. 도 11과 하기 식 20, 식 21을 참조하여, 제2, 3 설정영역에서의 적색과 청색 영역을 판단한다. 도 11은 제2 설정영역을 일례로 도시한 도면으로, 도 11 (a)는 수평 방향, (b)는 수직 방향의 연산 과정을 나타낸다. 이때, 도 11과 식 20, 식 21의 G13은 중심 화소 R13일 때, 녹색 영역 판단과 컬러보간 연산부(15)에 의해 보간된 녹색으로 정의한다.

[식 20]

[식 21]

적색과 청색의 영역을 판단할 때, 상기 식 18 내지 식 21을 이용하여 적색과 청색의 세부 영역을 판단한다. 이때, 제1 텍스쳐 에지(Texture Edge)는 상기 녹색영역에서 기재된 제1 텍스쳐 에지와 같은 같은 영역이다. 도 9의 단계(S921, S922, S923, S924)는 세부 영역을 판단하는 과정을 나타낸 흐름도로써, 단계(S921, S922)는 수평 방향, 단계(S923, S924)는 수직 방향의 판단 과정을 나타낸 도면이다.

제1, 4 설정영역의 적색과 청색 영역 판단에 대해 설명하기로 한다. 제1, 4 설정영역에서의 적색, 청색은 제2, 3 설정영역에서의 녹색과 마찬가지로 중심 화소에 위치하는 것이 아니다. 따라서 제1, 설정영역에서 적색과 청색의 영역 판단은 제2, 3 설정영역의 녹색 영역 판단과 유사하다. 즉, 제1, 4 설정영역의 적색과 청색 영역 판단은 전술한 제2, 3 설정영역의 녹색 영역에서 설명한 과정을 따라 영역 판단을 한다. 그러나 여기서 차이점은 적색과 청색의 영역이 흐름도에서 에지 영역 으로 판단 될 경우 △V, △H, △RD, 그리고 △LD 중에서 최소값을 찾아 영역을 판단하는데, 이때 상기 식 18와 식 19를 이용하여 수평 방향과 수직 방향에 대한 세부 영역 판단 과정을 적용하여 영역 판단에 정확성을 가한다. 뿐만 아니라, 최소값이 △RD와 △LD인 경우도 정확한 영역 판단을 위하여 단계(S933) 및 단계(S935)와 같은 대각선 방향의 영역 판단을 수행한다. 단계(S933)은 좌상향 대각선, 단계(S935)는 우상향 대각선 판단 과정을 나타낸다. 또한, 입력 베이어 패턴 데이터가 에지 영역이 아니고 대각선 영역인 경우, 제1, 2 설정영역의 적색과 청색영역 판단시 단계(S933) 및 단계(S935)와 같은 세부 영역 판단 과정을 그대로 적용하여 영역 판단을 하여 세밀한 영역 판단을 한다.

제2, 3 설정영역의 적색과 청색 영역 판단에 대해 설명하기로 하자. 제2 설정영역의 경우 중심 화소가 적색, 제3 설정영역의 경우 중심 화소가 청색이다. 따라서 각각의 경우 적색과 청색에 대해서는 제1, 4 설정영역의 녹색 영역 판단과 마찬가지로 상기 식 13을 이용하여 영역 판단을 한다. 그리고 제2 설정영역의 청색과 제3 설정영역의 적색은 제2, 3 설정영역의 녹색 영역 판단을 참조하여 영역 판단을 한다. 제1, 4 설정영역과 마찬가지로 제2 설정영역의 청색과 제3 설정영역의 적색 영역이 흐름도에서 에지 영역으로 판단 될 경우 △V, △H, △RD, 그리고 △LD 중에서 최소값을 찾아 영역을 판단하는데, 이때 상기 식 20와 식 21을 이용하여 수평 방향과 수직 방향에 대한 세부 영역 판단 과정을 적용하여 영역 판단에 정확성을 가한다. 뿐만 아니라, 최소값이 △RD와 △LD인 경우 제1,4 설정영역의 적색과 청색 영역 판단에서 설명한 대각선 방향 판단 기준을 그대로 적용하여 영역 판단의 정확성을 가한다.

전술한 것과 같은 과정을 통해 결정된 영역 정보(즉, 설정영역에 존재하는 에지정보)는 컬러보간 연산부(15)로 전달된다.

컬러 보간 연산부(15)

상기 컬러 보간 연산부(15)는 상기 에지의 종류에 따라 사전 설정된 컬러 보간 필터를, 상기 영역 판단부(14)에 의해 각각의 설정 영역에 대해 판단된 에지종류에 따라 해당 설정영역에 적용한다. 상기 컬러 보간 연산부(15)는 상기 필터 적용시에 필요한 연산을 비트 이동 연산(Bit Shift Operation)을 통해 출력값을 산출한다.

상기 컬러 보간 연산부(15) 비트 이동 연산을 위해, 입력 베이어 패턴 데이터와 비트 이동 연산(Bit Shift Operation), 그리고 먹스(MUX)를 이용하여 최종 출력값을 연산한다. 입력 베이어 패턴 데이터와 해당 필터의 계수를 곱하여 최종 출력값을 출력하는데 일반적으로 곱셈기를 이용하는 경우, 곱셈기의 사이즈가 크기 때문에 전체 사이즈가 증가하게 된다. 특히 복잡한 곱셈 연산을 수행하여야 하는 경우 곱셈기의 사이즈는 더욱 더 증가하게 된다. 따라서, 본 발명의 바람직한 실시형태에서는 곱셈기를 사용하는 대신 입력 베이어 패턴 데이터 값을 비트 이동시키고 비트 이동된 값들을 합산하는 비트 이동 연산 기법을 이용하여 곱셈을 대신 수 행 할 수 있다. 도 12는 비트 이동 연산의 개념을 간략하게 설명하기 위한 도면으로, "y=13·x" 라는 간단한 연산을 비트 이동 연산 기법을 적용하여 수행하는 예를 도시한다. 도 12의 (a)는 단순히 곱셈기를 사용한 곱셈 연산을 도시한 것이다. 이때, 입력값(x)에 곱하여지는 수 13은 2진수로 나타내면 "1101"과 같다. 비트 이동 연산에서는 이 곱하여지는 수를 2진수로 표현하였을 때 이 2진수의 각 비트(자리수)를 입력 신호(x)에 곱하여 이를 다시 합산하는 방식으로 곱셈 연산이 수행된다. 즉, 도 22의 (b)에 도시된 것과 같이, 입력값(x)을 "2³(=8)", "2²(=4)" 및 "2⁰(=1)"과 곱하여 이를 다시 합산하는 방식으로 수행된다. 이때, 입력값(x)에 "2³(=8)", "2²(=4)" 및 "2⁰(=1)"을 곱하는 것은 2진수 연산에서 2진수로 표현된 입력신호를 왼쪽으로(상위 비트로) 3비트, 2비트 및 0비트 이동시키는 것과 같다. 예를 들어, 입력값(x)이 2진수 110(10진수 6)라고 하고, 이를 3비트 이동시키면 110000(10진수 48)이 된다. 즉, 입력값을 3비트 이동시킨 결과는 입력값에 8을 곱한 것과 동일한 결과가 된다. 이와 같이 본 발명에서, 곱셈의 연산은 입력값을 비트 이동 시키고 그 결과를 덧셈하는 것으로 간단히 수행될 수 있으며, 이를 통해 곱셈기의 사용을 배제할 수 있다.

이러한 비트 이동 연산을 통해 곱셈 연산을 구하기 위해 본 발명의 일 실시형태에서 도 13을 참조하여 설명하기로 한다. 도 13은 컬러보간 연산부(15)의 비트 이동 연산 구조를 상세하게 도시한 도면이다. 컬러보간 연산부(15)는 입력되는 베 이어 패턴 데이터에 대해 n 비트의 비트 이동을 수행하는 비트 이동부(155)와, 비트 이동부(155)에서 출력되는 비트 이동값을 영역 판단부(14)의 출력 신호를 제어신호로 하여 선택 출력하는 복수의 먹스(MUX1-MUX25)를 갖는 먹스부(156), 및 먹스부(156)에서 출력되는 값들을 모두 합산하는 덧셈기(157)로 구성되어 있다. 이때 영역 판단부(14)의 출력 신호는 녹색, 적색 및 청색에 대해 각각 출력되기 때문에 컬러 보간 연산부(15) 역시 녹색 비트 이동 연산부(151), 적색 비트 이동 연산부(152), 그리고 청색 비트 이동 연산부(153)를 포함한다. 또한 각각의 비트 이동 연산부(151, 152, 153)는 상기 설명한 비트 이동부(154)와, 먹스부(155), 그리고 덧셈기(156)를 포함한다. 또한, 전술한 바와 같이, 제1 및 4 설정영역을 상호 비교하고, 제2 및 3 설정영역을 상호 비교해보면 녹색의 위치는 동일하나 적색과 청색의 서로 위치만 바뀌는 특징이 있다. 따라서 적색과 청색의 비트 이동 연산에 있어 이 특징을 이용하여 결과값 교환부(154)에서 패턴에 따라 적색과 청색의 값을 바꾸어 출력한다. 이상에서 설명한 컬러 보간 연산부(15)에 의해 입력되는 베이어 패턴 데이터는 중심 화소의 판단된 영역을 바탕으로 25개 먹스의 제어신호가 되고 이 제어신호를 바탕으로 25개의 먹스 출력값은 덧셈기를 통하여 최종 출력으로 나간다. 즉, 먹스의 제어신호는 베이어 패턴의 설정영역의 에지 방향을 판단하여 결정된 컬러보간용 필터에 상응하는 정보를 포함하는 것이다. 베이어 패턴 데이터의 중심 화소에 존재하는 색 정보와 존재하지 않는 두 색의 정보가 이 과정을 통하여 최종 세 가지의 색 정보가 최종 출력값으로 나가게 된다. 다시 말해서, 흑백의 베이어 패턴 데이터가 컬러 영상으로 보간되는 것이다.

본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 일실시형태에 따른 컬러 보간 장치의 블록 구성도이다.

도 2의 (a) 내지 (d)는 본 발명의 일실시형태에서 결정되는 베이어 패턴 데이터의 설정영역의 일례를 도시한 도면이다.

도 3은 본 발명의 일실시형태에 따른 컬러 보간 장치의 임계값 결정부의 동작을 도시한 상세블럭도이다.

도 4는 본 발명의 일실시형태에 따른 컬러 보간 장치의 에지 정보 연산부의 동작을 도시한 상세블록도이다.

도 5의 (a) 내지 (d)는 본 발명의 일실시형태에서, 제1 설정영역의 수직방향 변화량, 수평방향 변화량, 좌상향 대각선 방향 변화량 및 우상향 대각선 방향 변화량을 구하는 데 사용되는 화소들을 도시한 도면이다.

도 6은 본 발명의 일실시형태에서, 설정영역의 중심부의 미세 변화량을 연산하는데 사용되는 화소들을 표시한 도면이다.

도 7은 본 발명의 일실시형태에 따른 컬러 보간 장치의 영역 판단부를 더욱 상세하게 도시한 도면이다.

도 8은 본 발명의 일실시형태에 따른 컬러 보간 장치의 영역 판단부에서 수행되는 영역 판단의 전체 절차를 도시한 플로 차트이다.

도 9의 (a) 내지 (d)는 본 발명의 일실시형태에서 파악되는 세부 에지 방향을 도시한 도면이다.

도 10의 (a) 및 (b) 및 도 11의 (a) 및 (b)는 본 발명의 일실시형태에 따른 세부 에지를 결정하는 과정을 설명하는 도면이다.

도 12는 본 발명의 일실시형태에 따른 컬러 보간 장치의 컬러 보간 연산부에서 수행되는 비트 이동 연산의 개념을 간략하게 설명하기 위한 도면이다.

도 13은 본 발명의 일실시형태에 따른 컬러보간 연산부의 비트 이동 연산 구조를 상세하게 도시한 도면이다.

*도면의 주요부분에 대한 부호의 설명*

11: 베이어 패턴 데이터 저장부 12: 임계값 결정부

13: 에지정보 연산부 14: 영역 판단부

15: 컬러보간 연산부

Claims (9)

1. 이미지 센서에 의해 생성된 베이어 패턴 영상의 각 화소를 중심으로 설정된 복수의 설정영역에 대해 각각 휘도값을 연산하고, 상기 휘도값에 따라 상기 설정영역 각각의 에지를 판단하는데 사용되는 에지판단 임계값들을 결정하는 임계값 결정부;

   상기 각각의 설정영역에 포함된 화소들의 화소값을 이용하여 해당 설정영역의 수평방향, 수직방향, 대각선 방향 및 중심 방향의 다방향 화소값 변화량을 산출하고, 상기 산출된 다방향 화소값 변화량을 이용하여 상기 각각의 설정영역에 대한 에지 정보를 연산하는 에지 정보 연산부;

   상기 임계값 결정부에서 결정된 에지판단 임계값들과 상기 에지 정보 연산부에서 연산된 에지정보를 이용하여 상기 각각의 설정영역에 존재하는 에지의 종류를 판단하는 영역 판단부; 및

   상기 에지의 종류에 따라 사전 설정된 컬러 보간 필터를, 상기 영역 판단부에 의해 각각의 설정 영역에 대해 판단된 에지종류에 따라 해당 설정영역에 적용하는 컬러보간 연산부

   를 포함하는 컬러 보간 장치.
2. 제1항에 있어서,

   상기 이미지 센서로부터 입력된 전체 베이어 패턴 데이터에서 각 화소를 중심으로 하여 설정되는 복수의 설정영역의 형태로 베이어 패턴 데이터를 저장하는 베이어 패턴 데이터 저장부를 더 포함하는 것을 특징으로 하는 컬러 보간 장치.
3. 제1항에 있어서, 상기 임계값 결정부는,

   상기 각 설정영역에 포함된 각 색상 화소들의 화소값들을 이용하여 각 색상별 휘도값을 구하고, 상기 각 색상별 휘도값을 이용하여 상기 각 설정영역의 전체 휘도값을 산출하는 것을 특징으로 하는 컬러 보간 장치.
4. 제1항에 있어서, 상기 에지정보 연산부는,

   상기 각 설정영역에서 중심화소 및 상기 중심화소를 포함하는 열에 배치된 화소들 사이의 수직방향 변화량과, 상기 중심화소의 좌우로 이웃하는 열에 포함된 화소들 사이의 수직방향 변화량을 합산하여 상기 각 설정영역의 수직방향 변화량을 산출하는 것을 특징으로 하는 컬러 보간 장치.
5. 제1항에 있어서, 상기 에지정보 연산부는,

   상기 각 설정영역에서 중심화소 및 상기 중심화소를 포함하는 행에 배치된 화소들 사이의 수평방향 변화량과, 상기 중심화소의 상하로 이웃하는 열에 포함된 화소들 사이의 수직방향 변화량을 합산하여 상기 각 설정영역의 수평방향 변화량을 산출하는 것을 특징으로 하는 컬러 보간 장치.
6. 제1항에 있어서, 상기 에지정보 연산부는,

   상기 각 설정영역에서 중심화소 및 상기 중심화소를 포함하는 좌상향 대각선에 배치된 화소들 사이의 좌상향 대각선 방향 변화량과, 상기 중심화소를 포함하는 좌상향 대각선에 인접하여 나란히 배치된 화소들 사이의 좌상향 대각선 방향 변화량을 합산하여 상기 각 설정영역의 좌상향 대각선 방향 변화량을 산출하는 것을 특징으로 하는 컬러 보간 장치.
7. 제1항에 있어서, 상기 에지정보 연산부는,

   상기 각 설정영역에서 중심화소 및 상기 중심화소를 포함하는 우상향 대각선에 배치된 화소들 사이의 우상향 대각선 방향 변화량과, 상기 중심화소를 포함하는 우상향 대각선에 인접하여 나란히 배치된 화소들 사이의 우상향 대각선 방향 변화량을 합산하여 상기 각 설정영역의 우상향 대각선 방향 변화량을 산출하는 것을 특징으로 하는 컬러 보간 장치.
8. 제1항에 있어서, 상기 에지정보 연산부는,

   각 설정영역의 중심화소와 그에 대각선 방향으로 인접한 화소들을 이용하여 중심방향 변화량을 산출하는 것을 특징으로 하는 컬러 보간 장치.
9. 제1항에 있어서, 상기 컬러보간 연산부는,

   상기 영역 판단부에서 입력되는 각 설정영역의 에지종류에 대한 정보를 포함한 제어신호를 입력받아 상기 제어신호에 대해 사전 결정된 컬러보간 필터에 상응하는 값을 상기 베이어 패턴에 적용하기 위해 비트 이동 연산을 수행하는 것을 특징으로 하는 컬러 보간 장치.

Images