KR20040047383A - Cmos 이미지센서와 칼라 보간 알고리즘을 이용한 영상처리방법 및 장치. - Google Patents

Abstract

영상을 동반한 통신이 일반화되면서 CMOS 이미지센서를 장착한 저렴한 영상장치의 수요가 증대되었다. 그러나 CMOS이미지 센서는 CCD 센서에 비해 화질이 좋지 않으므로 이를 개선해주는 전처리단계의 중요성이 더욱 부각되었다. 본 발명은 이러한 점에 착안하여 CMOS 이미지 센서에 의해 검출된 영상신호를 처리하는 ISP의 여러 단계 중 칼러 보간에 중점을 두어 알고리즘을 채용하여 동영상을 실시간으로 처리하여 화질을 개선하는 방법 및 장치를 구현하는데 그 특징이 있다.

Description

CMOS 이미지센서와 칼라 보간 알고리즘을 이용한 영상처리 방법 및 장치.{Image processing method and Device Using CMOS Image Sensor and Colour Interpolation Algorithms.}

단순한 문자나 음성의 통신에서 영상을 동반하는 통신이 일반화되고 있다. 개인 컴퓨터나 휴대폰 등에서 영상의 입력 장치로 비용, 소비 전력 등의 측면에서 CCD(Charge Coupled Device) 이미지센서보다 유리한 CMOS 이미지센서를 사용한 카메라가 급속히 확산되고 있다. 그러나 종래의 CMOS 이미지센서는 CCD 이미지센서에 비해 화질이 좋지 않았다. 이를 개선하기 위해서는 전처리 단계인 ISP (ImageSignal Processor)가 중요한 역할을 하고 본 단계에서 새로운 알고리즘을 채용하여 화소간의 데이터를 보간함에 의하여 상기 종래의 CMOS 이미지센서의 단점을 개선하였다.

본 발명이 이루고자 하는 기술적 과제는 전처리 단계인 ISP(Image Signal Processor)에서 새로운 알고리즘을 도입하여 불완전한 영상 데이터를 입력받아 원영상과 비슷하게 복원하는데 있으며, 특히, 경계부분에서는 색상의 깨짐 현상이 나타나서 영상의 일그러짐이 나타나므로 이를 해결하기 위하여 경계부분에서는 색상의 깨짐 현상이 나타나서 영상의 일그러짐이 나타나는 것을 3*6 매트릭스 및 개선된 3*3 매트릭스를 가지는 알고리즘을 적용하여 신호를 처리함에 의하여 해결 가능하였으나, 3*6 매트릭스는 연산부가 복잡하고 연산과정에서 사용되는 메모리가 많이 필요하므로 본 발명은 개선된 3*3 매트릭스를 사용하여 간단한 연산과정과 연산부를 채용하고 메모리 할당량도 비교적 적어 저렴하게 하드웨어를 구현하여 영상의 일그러짐을 개선하는데 있다.

도1. ISP의 전체적인 블록도

도2. 3*3 매트릭스의 예

도3. 3*6 매트릭스 알고리즘

도4. 개선된 3*3 매트릭스 알고리즘

1; CMOS 센서, 2; 감마보정부, 3; 칼러 보간부, 4; 화이트밸런스

5; 칼러스페이스 변환부, 6; 필터, 7; 영상이미지

본 발명의 핵심구성인 ISP의 과정은 도1에 보인 블록 다이아그램과 같고, 도1에서 블록1은 CMOS 이미지센서를 나타내고 있으며 이는 일반적인 카메라등에서 영상신호의 색상(RGB)과 밝기등을 검출하는 센서와 동일한 역할하며, 도1에서 블록2는 상기 CMOS 이미지센서에서 검출된 영상신호와 화면에 디스플레이 되어야할 영상신호와의 차이를 보정하여 신호의 일그러짐을 보정하는 감마보정 신호처리부이며, 도1의 블록3은 상기 감마 보정된 영상신호중 불충분한 색상에 대한 화소입력으로부터 완전한 색상 데이터로 변환하는 신호처리부로 색상 데이터를 처리함에 있어서 3*3 매트릭스와 3*6 매트릭스를 이용한 알고리즘을 사용하여 영상신호를 처리하였으며 이에 대한 구체적인 기재는 본 발명의 전체적인 구성을 설명한 후에 기술하기로 하고 다음단계는 도1의 블록4인 알고리즘을 채용하여 변환시킨 영상신호 RGB(빨강, 녹색, 초록)를 자연의 색과 일치하도록 변화하는 화이트 밸랜스 처리부이며, 도1의 블록5는 상기 화이트 밸랜스 처리를 행한 영상신호을 각 픽셀의 RGB값을 YCbCr로 변환하는 스페이스 변환부이고, 도1의 블록6은 상기 스페이스 변환부를 거친 영상신호를 더욱 선명한 영상데이터로 변환하기 위하여 영상신호를 필터링하는 영상신호 필터링부를 나타내며, 상기 제2블록(단계)내지 제6블록(단계)에서는 제1단계인 CMOS 센서에서 검출된 영상신호처리를 여러 가지의 알고리즘을 이용하여 처리함으로써 보다 좋은 화질을 가진 표시장치를 구현하는데 있다. 본원 발명의 핵심은 블록3(제3단계)의 칼러 보간에 의한 화질 개선에 있으며, 이에 대하여 구체적으로 살펴보면,

가) 3*3 매트릭스 알고리즘

9개의 이웃하는 입력 데이터를 이용하여 그에 상응하는 영상 데이터를 계산한다. 그래서 도2와 같이 한 블록에 포함되는 R과 B의 수가 홀수 번째의 블록과 짝수 번째의 블록들 사이에는 유효값의 수가 다르게 포함되어 계산식도 각각 다르게표현된다. 픽셀 데이터를 구하는 수식은 아래와 같다.

나) 3*6 매트릭스 알고리즘

도3와 같이 18개의 이웃하는 입력 데이터를 이용하여 그에 해당되는 픽셀 데이터를 계산하는 알고리즘이다. 3*3 매트릭스를 이용한 것보다 색상을 원 영상에 가깝게 표현하게 되고 모든 색에 대하여 모든 블록의 유효 값들의 수가 일정하다. 아래의 수식은 R의 경우를 예로 들었다.

다)개선된 3*3 매트릭스 알고리즘

기존의 3*3매트릭스를 이용한 알고리즘과 비슷하지만 도4와 같이 3번째 열의 픽셀들은 다음 매트릭스의 1번째 열의 픽셀이 되어 계산이 된다. 또한, 세로로 이동할 때도 비슷하다. 그래서 4개의 유효한 픽셀 데이터를 구하게 된다. 수식 중 R의 경우를 보인다.

라) 칼러 보간 알고리즘의 구현 및 분석

3*3 매트릭스를 이용한 알고리즘은 위의 단점이었던 R과 B의 색상표현을 일부개선하였다. 하지만 도4의 (a)블록들이 4개의 유효 값을 포함한 것에 비해서 도4의 (b) 블록들은 2개의 유효 값만을 포함하여 색상을 표현하기에 한계를 여전히 지니고 있다. 3*6 매트릭스를 이용한 알고리즘은 앞서 설명한 두 방법의 단점을 보완하였다. 즉, 18개의 이웃하는 데이터를 이용하여 R과 B의 색상 표현에 결함을 최대한으로 줄였으며, 그리고 연산 실행 속도를 개선하였다. 그러나 작업을 실행할 때 계산량이 많고, 하드웨어로 구현 시 메모리를 많이 차지하는 단점을 지니고 있다. 위의 단점들을 개선한 알고리즘이 개선된 3*3매트릭스이다. 개선된 3*3매트릭스 알고리즘은 앞서 도4에서 보았듯이 R과 B의 색상을 최대한으로 표현하기 위해서 각각의 매트릭스들의 시작 포인트를 다르게 하였고, 픽셀 계산부의 단순화를 위해 2픽셀 간격으로 매트릭스가 이동한다. 이로 인해서 블록에 포함되는 유효 픽셀 값들의수가 항상 일정하고 3*6 매트릭스를 이용한 것과 거의 유사한 결과를 얻을 수 있다. 또한 단순한 계산부로 인해 하드웨어로 구현하기 쉽고 메모리도 3*3 매트릭스를 이용한 것보다 적게 차지하는 장점을 가지고 있다.

따라서, 경계부분에서는 색상의 깨짐 현상이 나타나서 영상의 일그러짐이 나타나는 것을 3*6 매트릭스와 개선된 3*3 매트릭스에서 영상의 일그러짐이 확연히 개선됨을 확인할 수 있었다. 그러나, 3*6 매트릭스는 연산부가 복잡하고 연산과정에서 사용되는 메모리가 많이 필요하므로 본 발명의 핵심 구성은 개선된 3*3 매트릭스를 사용하여 간단한 연산과정과 연산부를 채용하고 메모리 할당량도 비교적 적어 저렴하게 우수한 화질을 가진 영상처리장치를 구현할 수 있다.

본 발명은 전처리 단계인 ISP(Image Signal Processor)에서 새로운 알고리즘을 도입하여 불완전한 영상 데이터를 입력받아 원영상과 비슷하게 복원하는데 있으며, 특히, 경계부분에서는 색상의 깨짐 현상이 나타나서 영상의 일그러짐이 나타나는 것을 3*6 매트릭스와 개선된 3*3 매트릭스에서 영상의 일그러짐이 확연히 개선됨을 확인할 수 있었다. 그러나, 3*6 매트릭스는 연산부가 복잡하고 연산과정에서 사용되는 메모리가 많이 필요하므로 본 발명의 핵심 구성은 개선된 3*3 매트릭스를 사용하여 간단한 연산과정과 연산부를 채용할 수 있었고 메모리 할당량도 비교적 적어 저렴하게 우수한 화질을 얻을 수 있었다.

Claims (2)

1. CMOS 이미지센서를 장착한 영상처리에서의 개선된 3*3 매트릭스 알고리즘을 적용한 영상처리 방법에 있어서,

   CMOS 이미지센서로부터 영상을 검출하는 단계와,

   상기 검출된 영상신호와 화면에 디스플레이 되어야할 영상신호와의 차이를 보정하는 감마보정 단계와,

   상기 감마 보정된 영상신호중 불충분한 색상에 대한 화소입력으로부터 완전한 색상 데이터로 변환하기 위하여 개선된 3*3 행열부의 이동간격을 행 또는 열의 방향 공히 2개 화소로 하고 2개의 인접화소(R1과 R3 또는 R1과 R7)를 더하거나 4개의 인접화소(R1, R3, R7, R9)를 더하여 보간한 후 색상 신호를 처리하는 단계와,

   색상 데이터를 처리함에 있어서 개선된 3*3 매트릭스를 적용하여 계산할 행열부의 이동간격을 행열 공히 2개 화소로 하고 두 개의 인접화소를 더하거나 4개의 인접화소를 더하여 보간색을 구하는 단계와,

   상기 변환된 영상신호 RGB(빨강, 녹색, 초록)를 자연의 색과 일치하도록 변화하는 화이트 밸랜스 단계와,

   상기 화이트 밸랜스 단계를 거친 각 픽셀의 RGB값을 YCbCr로 변환하는 스페이스 컨버젼 단계와,

   상기 스페이스 컨버젼 단계를 거친 영상신호를 더욱 선명한 영상데이터로 변환하기 위하여 영상신호를 필터링하는 단계를 포함하는 CMOS 이미지 센서를 이용한영상처리 방법.
2. CMOS 이미지센서를 장착한 영상처리에서의 개선된 3*3 매트릭스 알고리즘을 적용한 영상처리 장치에 있어서,

   영상을 검출하는 CMOS 이미지센서와,

   상기 CMOS 이미지센서에서 검출된 영상신호와 화면에 디스플레이 되어야할 영상신호와의 차이를 보정하는 감마보정 신호처리부와,

   상기 감마 보정된 영상신호중 불충분한 색상에 대한 화소입력으로부터 완전한 색상데이터로 변환하기 위하여 개선된 3*3 행열부의 이동간격을 행 또는 열의 방향 공히 2개 화소로 하고 2개의 인접화소(R1과 R3 또는 R1과 R7)를 더하거나 4개의 인접화소(R1, R3, R7, R9)를 더하여 보간한 후 색상을 처리하는 영상신호처리부와,

   상기 변환된 영상신호 RGB(빨강, 녹색, 초록)를 자연의 색과 일치하도록 변화하는 화이트 밸랜스 처리부와,

   상기 화이트 밸랜스부를 거친 각 픽셀의 RGB값을 YCbCr로 변환하는 스페이스 컨버젼부와,

   상기 스페이스 컨버젼부를 거친 영상신호를 더욱 선명한 영상데이터로 변환하기 위하여 영상신호를 필터링하는 영상신호 필터링부를 포함하는 CMOS 이미지 센서를 이용한 영상처리 장치.