KR101462440B1 - 색 보정 장치 및 색 보정 방법 - Google Patents

Abstract

본 발명은 색 보정 장치 및 색 보정 방법에 관한 것으로서, 본 발명의 실시예에 따른 색 보정 장치는 크기가 서로 다른 복수의 필터를 적용하여 입력 영상의 지역적 또는 전역적으로 바래진 색을 추정하기 위한 영상을 각각 추출하는 영상 추출부, 복수의 필터를 각각 적용하여 추출한 각 영상의 보정계수를 산출하는 보정계수 산출부, 각 영상의 동일 위치에 해당되는 픽셀들의 보정계수를 합하여 보정계수 맵을 생성하는 보정계수 통합부, 및 생성한 보정계수 맵을 입력 영상의 픽셀들에 적용하여 보정 영상을 출력하는 보정부를 포함한다.

Description

색 보정 장치 및 색 보정 방법{Apparatus and Method for Correcting Color}

본 발명은 색 보정 장치 및 색 보정 방법에 관한 것으로서, 더 상세하게는 예컨대 스캐너, 휴대폰, 카메라 및 컴퓨터 등에서 사진, 문서 및 인쇄물 등의 매체에 대한 색 바랜 영상의 보정이 가능한 색 보정 장치 및 색 보정 방법에 관련된다.

일반적으로 사진, 문서, 인쇄물과 같은 출력된 매체는 오랜 시간 보관할 때에 각각의 환경에 따라 매체가 가진 특성이 변하여 색이 바래진다. 특히 오래된 사진은 오랜 시간 빛에 노출되거나 습도가 높은 경우 붉거나 노란 형태의 색상으로 바랜다. 이러한 색 바램 현상을 Franziska와 Henry는 다양한 실험을 통해 분석했다. Franziska는 온도와 습도에 대한 인쇄물의 색 바램 현상을 실험하였다. 실험 결과 온도와 습도가 높을수록 CMY 염료의 밀도가 더 빨리 낮아지는 결과를 보였다. 또한 Henry는 종이에 CMY 각각의 패치와 회색 계조를 인쇄하고 여러 종류의 광원에 노출시켜 염료의 물리적인 변화를 살펴보았다. 위 실험들을 통해 실제 바랜 영상의 경우 색 또는 영역에 따라 색 바랜 정도가 다르다는 것을 알 수 있다. 또한, 색 바램 현상의 물리적 모델링을 통해 디지털 이미지로 변환된 색 바랜 영상의 복원은 제약이 따른다는 것을 알 수 있다.

한편, 색 바랜 영상의 보정을 위하여 컬러 항상성 기반의 광원 추정 방법들이 적용되어 왔다. 이러한 방법들은 색 바램 현상과 광원에 의한 색도 변화 현상이 동일하다는 가정을 기반으로 한다. 일반적으로 광원 추정 알고리즘들은 인간 시각 시스템이 인지하는 색은 광원과 물체의 반사율의 곱으로 표현되며, 인지되는 색으로부터 광원의 색을 추정하여 물체의 반사율을 구할 수 있다는 가정을 기반으로 한다.

이들 방법 중 대표적인 것으로 GWA(Gray World Assumption)와 WPA(White Patch Algorithm, White Patch Retinex Algorithm)가 있다. GWA는 영상의 각 채널별 평균 색도 값은 회색이라는 가정을 기반으로 하여 영상의 색도를 보정하며, WPA는 영상의 최대 밝기값을 가지는 픽셀의 RGB 값을 광원의 색도 값으로 가정하고 이를 이용하여 보정한다. 최근에 Edmund는 CGWR(Combining Gray world and White patch Algorithm)을 제안했다. CGWR은 GWA와 WPA가 가지는 가정을 동시에 만족하도록 하는 방정식을 모델링하고, 그 계수를 구하여 영상을 보정한다. 그 결과, CGWR은 GWA 및 WPA보다 색 보정에 높은 성능을 보이며, 2차 함수 형태의 보정 함수로써 대비 향상의 효과도 나타냈다. 그러나 이러한 방법들은 전역 보정 함수이므로, 색 바랜 영상의 지역적 색상 변화에 대해 보정하지 못하는 문제가 있다.

위의 3가지 방법을 좀더 구체적으로 살펴보면 다음과 같다.

A. GWA 알고리즘

GWA는 Buchsbaum에 의해 제안되었다. 그것은 어떤 기준 공간 스펙트럼 평균이 전 시야(total visual field)에서 존재한다고 가정함으로써 광원을 추정한다. 실행 조건에서, 이미지 I(x, y)는 M×N 크기를 갖는데, 여기서 x 및 y는 픽셀 위치의 색인을 나타낸다. 또한 I_R(x, y), I_G(x, y) 및 I_B(x, y)는 각각 이미지의 R, G, B 채널을 나타낸다. 나아가, Ravg, Gavg 및 Bavg는 <수학식 1> 내지 <수학식 3>과 같이 계산된다.

GWM은 G 채널을 바꾸지 않은 채 유지하며, R 및 B 채널을 위한 보정 비율을 <수학식 4>와 같이 정의한다.

그러면, R 및 G 픽셀들은 <수학식 5> 및 <수학식 6>에 의해 조정될 수 있다.

B. WPA

Retinex 이론 하에서, 인지된 화이트(W)는 인간 시각 시스템의 최대 콘(cone) 신호들과 연계된다는 것이 주장되었다. 그로 인해, 화이트의 균형(white balance)을 맞추기 위한 방법은 R, G, B 채널들의 최대값들을 균일화하는 데에 있어야만 한다. 계산시 몇몇 밝은 픽셀들에 의해 야기된 방해(disturbances)를 피하기 위하여, 군집을 이루는 픽셀들을 처리하거나, 이미지를 저대역 통과시킬 수 있다. 최대값들 Rmax, Gmax 및 Bmax는 <수학식 7> 내지 <수학식 9>와 같이 계산된다.

GWA와 마찬가지로, WPR은 B 채널을 바꾸지 않은 채로 유지한다. 이러한 방법은 R 및 B 채널들을 위한 이득(gain)을 <수학식 10>과 정의한다.

그러면, 조정된 R 및 B 채널들은 <수학식 11> 및 <수학식 12>로 주어진다.

C. CGWR

Edmund 방법에 의해 제안된 CGWR 방법은 화이트 균형 및 컬러 복원을 위한 GWA 및 WPA에 근거한다. CGWR은 색도의 2차원 맵핑(quadratic mapping of intensities)을 채택하며, G 채널을 변화시키지 않은 채 유지한다. R 채널을 위한 보정계수의 계산은 <수학식 13>과 같은 행렬 형태로 나타내어질 수 있다.

여기서, (μ, v)는 화이트 균형을 위한 파라미터들이다. <수학식 13>에서, 각 칼럼은 GWA 및 WPA을 각각 나타낸다. <수학식 13>은 가우시안 추정 또는 Cramer 규칙을 사용해서 분석적으로 해결될 수 있다. 그 후에 보정 이미지, I_{CGWR , R}(x, y)는 (μ, v)로 <수학식 14>와 같이 계산된다.

B 채널을 위한 보정은 유사한 방식(analogous manner)으로 연산될 수 있다.

그런데, 햇빛에 의한 바랜 사진을 스캔하여 획득한 영상을 기존의 광원 추정 기반의 방법들에 적용하였을 때, 대부분의 영상이 원본과 동일하게 보정되지 않는 것을 볼 수 있다. 이는 광원의 영향에 의해 색도가 변화한 영상과는 달리 각각의 패치가 가지는 염료의 특성 및 종이의 특성으로 인해 그 변화 정도가 다르게 되며, 광원에 의해 균일하게 변화한 색도를 보정하는 방법은 적절하지 않음을 보여준다.

도 1은 종래의 광원 추정 기반의 방법을 적용한 결과 영상을 나타내는데, 도 1에서 볼 때, 복합적인 방법(CGWR)의 경우 원본과 유사한 결과를 나타내지만, 일부 패치에서 보정된 패치의 색상과 원본과의 차이가 크게 나타나는 것을 볼 수 있다.

따라서, 종래의 광원 추정기반의 방법 이외에 다른 접근 방법을 통해 영상의 바랜 색도를 추정하고 이를 이용하여 색도를 보정할 필요성이 요구되고 있다.

본 발명의 실시예는 예컨대 스캐너, 휴대폰, 카메라 및 컴퓨터 등에서 사진, 문서 및 인쇄물 등의 매체에 대한 색 바랜 영상의 보정이 가능한 색 보정 장치 및 색 보정 방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 색 보정 장치는 크기가 서로 다른 복수의 필터를 적용하여 입력 영상의 지역적 또는 전역적으로 바래진 색을 추정하기 위한 영상을 각각 추출하는 영상 추출부, 상기 복수의 필터를 각각 적용하여 추출한 각 영상의 보정계수를 산출하는 보정계수 산출부, 상기 각 영상의 동일 위치에 해당되는 픽셀들의 보정계수를 합하여 보정계수 맵을 생성하는 보정계수 통합부, 및 상기 생성한 보정계수 맵을 상기 입력 영상의 픽셀들에 적용하여 보정 영상을 출력하는 보정부를 포함한다.

여기서, 상기 복수의 필터 중 하나는, 상기 입력 영상과 동일 크기의 필터인 것을 특징으로 한다.

또한 상기 영상 추출부는 각각의 픽셀이 주변 픽셀들과의 평균값을 가지는 영상을 추출하되, 각 필터를 상기 입력 영상의 픽셀마다 매칭시켜 상기 각 필터와 상기 입력 영상이 중첩되는 영역의 픽셀들에 대한 평균값을 갖는 것을 특징으로 한다.

한편 상기 보정계수 통합부는 상기 산출한 보정계수에 가중치를 부여하고, 상기 가중치가 부여된 상기 픽셀들의 보정계수를 합하여 상기 보정계수 맵을 생성하는 것을 특징으로 한다.

또한 상기 보정계수 통합부는 상기 필터의 크기에 따라 서로 다른 가중치를 부여하는 것을 특징으로 한다.

상기 보정부는 상기 보정계수 맵의 상기 합해진 보정계수들을 상기 픽셀들에 각각 곱하여 상기 보정 영상을 출력하는 것을 특징으로 한다.

본 발명의 실시예에 따른 색 보정 방법은 크기가 서로 다른 복수의 필터를 적용하여 입력 영상의 지역적 또는 전역적으로 바래진 색을 추정하기 위한 영상을 각각 추출하는 단계, 상기 복수의 필터를 각각 적용하여 추출한 각 영상의 보정계수를 산출하는 단계, 상기 각 영상의 동일 위치에 해당되는 픽셀들의 보정계수를 합하여 보정계수 맵을 생성하는 단계, 및 상기 생성한 보정계수 맵을 상기 입력 영상의 픽셀들에 적용하여 보정 영상을 출력하는 단계를 포함한다.

여기서, 상기 복수의 필터 중 하나는, 상기 입력 영상과 동일 크기의 필터인 것을 특징으로 한다.

또한 상기 영상을 각각 추출하는 단계는, 각각의 픽셀이 주변 픽셀들과의 평균값을 가지는 영상을 추출하되, 각 필터를 상기 입력 영상의 픽셀마다 매칭시켜 상기 각 필터와 상기 입력 영상이 중첩되는 영역의 픽셀들에 대한 평균값을 갖는 것을 특징으로 한다.

한편, 상기 보정계수 맵을 생성하는 단계는, 상기 산출한 보정계수에 가중치를 부여하고, 상기 가중치가 부여된 상기 픽셀들의 보정계수를 합하여 상기 보정계수 맵을 생성하는 것을 특징으로 한다.

또한 상기 보정계수 맵을 생성하는 단계는, 상기 필터의 크기에 따라 서로 다른 가중치를 부여하는 것을 특징으로 한다.

상기 보정 영상을 출력하는 단계는, 상기 보정계수 맵의 상기 합해진 보정계수들을 상기 픽셀들에 각각 곱하여 상기 보정 영상을 출력하는 것을 특징으로 한다.

본 발명의 실시예에 따르면, 스캔된 바랜 영상을 색 보정 기술을 통해 영상 보정을 수행함으로써 바랜 색을 제거할 수 있으며, 바랜 색의 보정을 위한 소프트웨어(S/W) 등의 개발로 인해 색 보정 작업을 편리하게 수행할 수 있을 것이다. 이로 인해 모바일 또는 PC 등의 시장에서도 부가 수익을 창출할 수 있을 것이다.

도 1은 종래의 광원 추정 기반의 방법을 적용한 결과 영상을 나타내는 도면,
도 2는 본 발명의 실시예에 따른 색 보정 장치의 구조를 나타내는 도면,
도 3은 전역적으로 바랜 영상과 지역적으로 바랜 입력 영상에 대한 결과 영상을 나타내는 도면,
도 4는 통합된 보정계수들을 나타내는 도면,
도 5는 실험을 위한 입력 이미지들을 나타내는 도면,
도 6은 도 5의 (a)의 결과 이미지들을 비교하여 나타낸 도면,
도 7은 도 5의 (b)의 결과 이미지들을 비교하여 나타낸 도면,
도 8은 도 5의 (c)의 결과 이미지들을 비교하여 나타낸 도면,
도 9는 선호 테스트의 결과를 나타내는 도면, 그리고
도 10은 본 발명의 실시예에 따른 색 보정 방법을 나타내는 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 색 보정 장치의 구조를 나타내는 도면이다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 색 보정 장치(190)는 영상 추출부(200), 보정계수 산출부(210), 보정계수 통합부(220) 및 보정부(230)의 일부 또는 전부를 포함하며, 나아가 입력부(미도시), 저장부(미도시) 및 제어부(미도시)의 일부 또는 전부를 더 포함할 수도 있다.

여기서, 일부 또는 전부를 포함한다는 것은 일부 구성요소가 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것을 설명한다.

영상 추출부(200)는 다중 크기의 평균필터를 이용하여 지역적 또는 전역적으로 바래진 색을 추정하기 위한 영상을 구한다. 다시 말해, 영상 추출부(200)는 가령 도 1에서와 같이 3개의 다중 크기를 갖는 평균필터를 각각 적용하여 바랜 색 보정 계수를 구하기 위한 흐려진 영상 g_{i , k}(x, y)를 계산할 수 있다. 이는 <수학식 15>에서와 같이 표현된다.

여기서, g_{i , k}(x, y)는 평균 필터링된 이미지들, k는 스케일을 3번 사용한 스케일 개수(혹은 횟수)이며, i는 R, G, B와 같은 컬러 채널들이다. m_k, n_k는 평균필터들의 크기이다.

본 발명의 실시예에 따라, 영상 추출부(200)에서 사용된 각 필터 kernel 크기는 9×9, 35×35, 전체 이미지인데, 이는 부분적으로 바랜 색을 추정하기 위한 작은 영역, 중간 영역 및 전체 영역을 의미한다.

좀더 살펴보면, 본 발명의 실시예에 색 보정 장치(190)는 전역적으로 또는 지역적으로 바랜 이미지를 보정하기 위하여 다중 크기 GWA를 수행할 수 있다. 이러한 방법은 그 가정이 색 바랜 이미지에 적합하므로, 광원을 추정하기 위한 GWA에 근거한다는 것이다.

<수학식 15>에 근거해 볼 때, GWA에서의

및

는 전역적 동작(global operation)을 위한 보정계수들이다. 이와 같은 2개의 계수는 보정 비율로서 각각 R 및 B 채널들에 적용된다. 본 발명의 실시예에서 부분적으로 바랜 색을 보정하기 위한 다중 크기 기법은 다중 크기 보정 계수들을 계산하기 위하여 사용된다. 따라서 보정계수들을 얻기 위하여 M×N 크기를 갖는 바랜 입력 이미지는 <수학식 15>에 나타낸 대로, 먼저 평균 필터를 사용해서 흐릿한 영상을 구하는 것이다.

다시 말해, RGB 각 채널에 대해 k개의 서로 다른 크기의 평균필터를 이용해 흐려진 영상을 구한다. 본 발명의 실시예에 따른 필터는 3개이며, 각각의 평균필터 크기는 9×9, 35×35, 영상 전체 평균을 사용한다. 이때 가장 큰 크기의 평균필터는 영상의 전체 평균값으로 대체되는데, 전체 평균을 사용하므로 계산량을 줄일 수 있는 효과를 가진다. 이와 같이 서로 다른 크기의 필터를 사용하여 평균 영상을 계산한 것은 각각의 필터 크기에 해당하는 영역에 대하여 색 보정계수를 계산하기 위해서이다. 즉 필터의 크기가 작을수록 지역적 바랜 색의 보정을 고려하는 것이고, 영상 전체의 평균을 이용하는 것은 전역적 바랜 색의 보정을 계산하는 것이다.

본 발명의 실시예에 따라 예컨대 영상 추출부(200)는 각각의 필터를 통과한 영상을 추출하게 되는데, 이때 각 영상에 대한 픽셀들은 평균값을 갖는다고 볼 수 있다. 다시 말해, 각 픽셀의 평균값을 구하기 위하여 필터의 중심을 평균값을 구하고자 하는 픽셀, 더 정확하게는 R, G, B 채널의 각 서브픽셀과 매칭시킨다. 이후, 필터와 입력 영상이 서로 중첩되는 영역에 해당하는 픽셀들의 화소값을 평균화하여 매칭된 픽셀의 평균값을 얻게 된다.

한편, 본 발명의 실시예에서는 영상 추출부(200)에서 다중 크기의 평균필터를 사용하는 것을 예로 들어 설명하였지만, 평균필터가 아닌 가우시안 필터를 사용하는 것도 얼마든지 가능할 수 있으므로 어떠한 필터를 사용하느냐에 그것에 특별히 한정하지는 않을 것이다.

보정계수 산출부(210)는 추출(혹은 계산)된 영상의 각각의 픽셀에 대해 가령 GWA 기반의 보정계수를 구한다. 다시 말해, 보정계수 산출부(210)는 각각의 평균 필터를 통과한 영상에 대해 바랜 색 보정 계수 α_k(x, y), β_k(x, y)를 계산하는 것이다. 이는 <수학식 16>에서와 같이 표현될 수 있다.

여기서, α_k(x, y) 및 β_k(x, y)는 각 스케일 k를 위한 점별 조정 계수들을 나타낸다.

보정계수 통합부(220)는 각각의 평균필터를 통과한 영상에 대해 계산된 보정 계수를 합하여 하나로 통합된 보정계수 맵을 생성할 수 있다. 이의 과정에서 보정계수 통합부(220)는 필터의 크기에 따라 적당한 가중치를 부여한 후 보정계수를 합하는 방식으로 맵을 생성할 수 있다. 다시 말해, 서로 다른 크기 k에 대해 계산된 α_k(x, y) 및 β_k(x, y)는 각 필터의 크기에 적당한 가중치를 곱하여 하나의 α_sum(x, y) 및 β_sum(x, y)로 구성된 맵을 생성하는 것이다. GWA에 보정계수들을 적용하기 위하여 이러한 계수들은 <수학식 17>과 같이 가중치를 가진 스케일들로 통합된다.

여기서, α_sum(x, y) 및 β_sum(x, y)는 통합된 보정계수들인데, Wk는 각 스케일 k의 가중치를 나타낸다. 위의 <수학식 17>에서 가중치 Wk의 합은 1이 되도록 한다.

또한 보정계수 통합부(220)에서 가중치를 부여할 때, 작은 크기의 필터 영상에 가중치를 높게 부여하면 지역적 보정은 좋지만, 반면 영상 전체가 그레이로 변하는 단점이 있을 수 있다. 또한 영상 전체 크기에 해당되는 필터의 영상에 가중치를 높게 부여하면 지역적 보정 효과가 없을 수 있다. 따라서, 이와 같은 점을 고려하여 적절하게 가중치가 부여되는 것이 바람직하다.

보정부(230)는 통합된 보정계수 맵의 합산된 보정계수들을 입력 영상에 적용하여 보정 영상을 출력한다. 다시 말해, 합산된 보정계수들을 입력 영상의 각 픽셀에 곱하여 화소값이 보정된 보정 영상을 출력하는 것이다. 이의 과정에서 보정부(230)는 α_sum(x, y) 및 β_sum(x, y)를 모두 사용해서 R 및 B 픽셀들을 조정하는데, 이는 <수학식 18> 및 <수학식 19>와 같이 표현될 수 있다. 즉 계산된 보정계수 맵을 이용하여 영상의 R과 B 채널에 곱하여 바랜 색이 보정된 영상 I'_R(x, y)와 I'_B(x, y)를 얻는 것이다.

여기서, I는 결과 이미지이다.

<수학식 18> 및 <수학식 19>에서 근거해 볼 때, 보정부(230)에서 R 및 B 채널에 대해서만 보정을 수행하는 것은 어디까지나 본 발명의 실시예에서 GWA에 근거하여 G 채널을 기준으로 하고 있기 때문이다.

한편, 저장부는 색 보정 장치(190)의 동작 과정에서 처리되는 데이터 또는 정보들을 저장한다면, 제어부는 색 보정 장치(190)를 구성하는 구성요소들의 전반적인 동작을 제어한다고 볼 수 있다. 다만, 상기한 색 보정 장치(190)의 구성요소들이 하나 또는 둘 이상 통합되어 알고리즘의 형태로서 구현된다면, 위의 저장부 및 제어부는 생략되어 구성될 수도 있으므로 본 발명의 실시예에서는 색 보정 장치(190)를 어떠한 형태로 구성하느냐에 특별히 한정하지는 않을 것이다.

상기의 구성 결과, 본 발명의 실시예에 따라 색 바랜 입력 영상의 영상 전체가 붉게 변해 있다고 가정할 때, α_sum(x, y)를 각 픽셀에 곱하여 줌으로써 R 성분을 감소시켜주고, 그 결과 색 바랜 영상의 지역적인 보정이 가능하게 되는 것이다.

도 3은 전역적으로 바랜 영상과 지역적으로 바랜 입력 영상에 대한 결과 영상을 나타내는 도면이다.

도 3의 (b) 및 (d)는 각각 전역적 및 지역적으로 바랜 입력 이미지인 도 3의 (a) 및 (c)의 결과 이미지로, 가중치 w1=0.4, w2=0.3, w3=0.3을 갖는다. 이는 가령 9×9, 35×35, 영상 전체 크기를 갖는 3개의 필터에서 추출한 영상에 각각 부여되는 가중치를 나타낸다.

결과 영상에서 전역적으로 바랜 영상과 지역적으로 바랜 영상에 대해 바랜 색상이 모두 보정됨을 볼 수 있다. 특히, 도 3의 (c)에서 우측 하단이 붉게 바랜(reddish) 입력 영상에 대해 도 3의 (d)와 같이 결과 이미지가 보정됨을 확인할 수 있다.

도 4는 통합된 보정계수들을 나타내는 도면으로, 도 4의 (a) 및 (c)는 R 채널을 위한 보정계수 맵이고, 도 4의 (b) 및 (d)는 B 채널을 위한 보정계수 맵이다.

도 4를 참조하면, 도 4의 (c) 및 (d)는 도 4의 (c)를 위한 <수학식 17> 및 <수학식 18>에 의한 통합된 보정 계수들을 나타낸다.

R 채널을 위한 α_sum(x, y)은 0.3에서 2.6까지의 비율을 가지며, B 채널을 위한 β_sum(x, y)은 1에서 305까지의 비율을 갖는다. 다시 말해, 도 3의 (d)의 우측 하단에서 붉게 바래진 영역의 보정 비율들이 붉게 바래진 컬러의 감소를 위해 더 작은 비율(rate)을 갖는다. 다른 한편, 도 3의 (d)의 좌측에 있는 정상 영역의 보정 비율들은 1에 가까운 비율을 갖는데, 이것은 청색 채널의 보존을 의미한다.

계속해서, 본 발명의 실시예에서 제안한 방법의 실험 결과를 살펴본다.

도 5는 실험을 위한 입력 이미지들을 나타내는 도면이고, 도 6은 도 5의 (a)의 결과 이미지들을 비교하여 나타낸 도면, 도 7은 도 5의 (b)의 결과 이미지들을 비교하여 나타낸 도면, 도 8은 도 5의 (c)의 결과 이미지들을 비교하여 나타낸 도면이며, 도 9는 선호 테스트의 결과를 나타내는 도면이다.

본 발명의 실시예에서는 실험을 통해, 먼저 이미지들을 도 5에서와 같은 3개의 바랜 이미지들과 비교하였다. 그런 다음, 마지막으로 선택된 이미지는 관찰자가 선호하는 테스트에 의해 획득된다. 본 발명의 실시예에서 제안한 방법의 결과들은 GWA, WPR, CGWR 및 MSR의 결과들과 비교되었다. 제안한 방법은 도 6 내지 8에서의 일반적인 방법과 비교해서 지역적으로 바랜 이미지들에 가장 좋은 색 강화를 보여주었다.

실제 평가에서, 관찰자가 선호하는 테스트는 25세에서 34세 연령을 가진 15명의 관찰자를 포함하여 수행되었다. 관찰자들은 입력 이미지와 결과 이미지 사이의 바랜 색의 강화를 위한 기준에 따라 이미지를 선택하도록 요청받았다. 도 9에 도시된 대로, 대부분의 관찰자들은 부분적으로 바랜 이미지들을 위하여 본 발명의 실시예에서 제안한 방법을 선택하였다.

결과적으로, 본 발명의 실시예에서는 전역적으로, 그리고 지역적으로 바랜 이미지 모두를 보정하기 위하여 다중 크기 GWA를 제안하였다. 지역적으로 바랜 이미지들을 고려하기 위하여 본 발명의 실시예에서는 가령 GWA와 다중 크기 기법을 통합하였다. 제안된 방법은 실험에서 전역적으로, 그리고 지역적으로 바랜 이미지들 모두에서 컬러 보정을 보여준다. 그러나, 완전한 자동 모드(full automatic mode)에서 더 강건하고 안정적인 가중치들을 찾고, 바랜 이미지들을 위한 국부적인 휘도 차(contrast)를 강화하기 위한 방법들이 제안될 수 있을 것이다.

도 10은 본 발명의 실시예에 따른 색 보정 방법을 나타내는 도면이다.

설명의 편의상 도 10을 도 2와 함께 참조하면, 본 발명의 실시예에 따른 색 보정 장치(190)는 다중 크기의 필터를 적용하여 입력 영상의 지역적 또는 전역적으로 바랜 색을 추정하기 위한 영상을 추출한다(S1000). 예를 들어, 색 보정 장치(190)는 입력 영상에 대하여 복수의 필터를 각각 적용하여 바랜 색을 추정하기 위한 영상을 각각 추출할 수 있는데, 이때 다중 크기의 필터는 서로 다른 크기를 가지며, 크기가 순차적으로 증가하여 하, 중, 상의 크기를 갖는 평균필터 또는 가우시안 필터일 수 있다. 이때 크기가 가장 큰 필터는 입력 영상과 동일한 크기를 가질 수 있다.

또한 색 보정 장치(190)는 다중 크기의 필터를 각각 통과한 추출 영상의 보정계수들을 산출한다(S1010). 이와 관련해서는 앞서 <수학식 13>을 통해 살펴보았으므로 더 이상의 설명은 생략하도록 한다.

이어 색 보정 장치(190)는 산출한 보정계수를 합하여 하나로 통합된 보정계수 맵을 생성하는데, 이의 과정에서 추가로 가중치를 부여할 수 있다(S1020). 여기서 가중치는 필터의 크기에 따라 서로 다르게 부여될 수 있다. 다만, 가중치는 그 합이 1이 되는 범위에서 부여되는 것이 바람직하다.

그리고 색 보정 장치(190)는 하나로 통합된 보정계수 맵을 입력 영상의 픽셀에 적용하여 보정 영상을 출력한다(S1030). 다시 말해, 합해진 보정계수를 입력 영상의 각 픽셀에 곱하는 방식으로 보정 영상을 출력할 수 있다. 예컨대, 색 보정 장치(190)는 각 필터에 의해 추출한 각 영상에서 (1,1)에 해당되는 픽셀의 보정계수를 합하여 계산된 보정계수를 입력 영상의 (1,1)에 해당하는 픽셀의 화소값에 곱하여 화소값을 보정하는 것이다.

이외에, 색 보정 방법과 관련한 기타 자세한 내용은 도 2를 참조한 부분에서 충분히 설명하였으므로 더 이상의 설명은 생략하도록 한다.

한편 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

200: 영상 추출부 210: 보정계수 산출부
220: 보정계수 통합부 230: 보정부

Claims (12)

1. 크기가 서로 다른 복수의 필터를 적용하여 입력 영상의 지역적 또는 전역적으로 바래진 색을 추정하기 위한 영상을 각각 추출하는 영상 추출부;
   상기 복수의 필터를 각각 적용하여 추출한 각 영상의 보정계수를 산출하는 보정계수 산출부;
   상기 각 영상의 동일 위치에 해당되는 픽셀들의 보정계수를 합하여 보정계수 맵을 생성하는 보정계수 통합부; 및
   상기 생성한 보정계수 맵을 상기 입력 영상의 픽셀들에 적용하여 보정 영상을 출력하는 보정부;를 포함하고,
   상기 영상 추출부는 각각의 픽셀이 주변 픽셀들과의 평균값을 가지는 영상을 추출하되, 각 필터를 상기 입력 영상의 픽셀마다 매칭시켜 상기 각 필터와 상기 입력 영상이 중첩되는 영역의 픽셀들에 대한 평균값을 갖는 것을 특징으로 하는 색 보정 장치.
2. 제1항에 있어서,
   상기 복수의 필터 중 하나는, 상기 입력 영상과 동일 크기의 필터인 것을 특징으로 하는 색 보정 장치.
3. 삭제
4. 제1항에 있어서,
   상기 보정계수 통합부는 상기 산출한 보정계수에 가중치를 부여하고, 상기 가중치가 부여된 상기 픽셀들의 보정계수를 합하여 상기 보정계수 맵을 생성하는 것을 특징으로 하는 색 보정 장치.
5. 제4항에 있어서,
   상기 보정계수 통합부는 상기 필터의 크기에 따라 서로 다른 가중치를 부여하는 것을 특징으로 하는 색 보정 장치.
6. 제1항에 있어서,
   상기 보정부는 상기 보정계수 맵의 상기 합해진 보정계수들을 상기 픽셀들에 각각 곱하여 상기 보정 영상을 출력하는 것을 특징으로 하는 색 보정 장치.
7. 크기가 서로 다른 복수의 필터를 적용하여 입력 영상의 지역적 또는 전역적으로 바래진 색을 추정하기 위한 영상을 각각 추출하는 단계;
   상기 복수의 필터를 각각 적용하여 추출한 각 영상의 보정계수를 산출하는 단계;
   상기 각 영상의 동일 위치에 해당되는 픽셀들의 보정계수를 합하여 보정계수 맵을 생성하는 단계; 및
   상기 생성한 보정계수 맵을 상기 입력 영상의 픽셀들에 적용하여 보정 영상을 출력하는 단계;를 포함하고,
   상기 영상을 각각 추출하는 단계는,
   각각의 픽셀이 주변 픽셀들과의 평균값을 가지는 영상을 추출하되, 각 필터를 상기 입력 영상의 픽셀마다 매칭시켜 상기 각 필터와 상기 입력 영상이 중첩되는 영역의 픽셀들에 대한 평균값을 갖는 것을 특징으로 하는 색 보정 방법.
8. 제7항에 있어서,
   상기 복수의 필터 중 하나는, 상기 입력 영상과 동일 크기의 필터인 것을 특징으로 하는 색 보정 방법.
9. 삭제
10. 제7항에 있어서,
    상기 보정계수 맵을 생성하는 단계는,
    상기 산출한 보정계수에 가중치를 부여하고, 상기 가중치가 부여된 상기 픽셀들의 보정계수를 합하여 상기 보정계수 맵을 생성하는 것을 특징으로 하는 색 보정 방법.
11. 제10항에 있어서,
    상기 보정계수 맵을 생성하는 단계는,
    상기 필터의 크기에 따라 서로 다른 가중치를 부여하는 것을 특징으로 하는 색 보정 방법.
12. 제7항에 있어서,
    상기 보정 영상을 출력하는 단계는,
    상기 보정계수 맵의 상기 합해진 보정계수들을 상기 픽셀들에 각각 곱하여 상기 보정 영상을 출력하는 것을 특징으로 하는 색 보정 방법.

Images