KR20150031241A

KR20150031241A - 이미지의 색 조화를 위한 장치 및 방법

Info

Publication number: KR20150031241A
Application number: KR1020147035226A
Authority: KR
Inventors: 크리스뗄 샤마레; 요안 바브예; 파브리스 위르방
Original assignee: 톰슨 라이센싱
Priority date: 2012-06-18
Filing date: 2013-06-13
Publication date: 2015-03-23
Also published as: EP2862346A1; US20150178587A1; JP2015520467A; WO2013189840A1; CN104488255A

Abstract

본 발명은 이미지의 색 조화에 관한 것인데, 특히 시각 집중 모델에 따라 도출되는 돌출 맵에 따른 이미지 분할에 의해 식별되는 이미지 영역들에 따른 조화 색 템플릿의 선택에 관한 것이다. 특히, 본 발명은: 이미지에서 관심 영역들을 결정하는 단계(10); 관심 영역들의 색 히스토그램을 결정하는 단계(12); 템플릿들의 세트에서 색 히스토그램과 일치하는 제1 템플릿을 선택하는 단계(12) -각각의 템플릿은 조화 색 값들의 일부를 정의함-; 및 이미지를 처리하는 단계 -이미지를 처리하는 단계는 이미지의 색들을 최종 템플릿으로 매핑하는 단계를 포함하고, 최종 템플릿은 제1 템플릿임- 를 포함하는 이미지 처리 방법에 관한 것이다.

Description

이미지의 색 조화를 위한 장치 및 방법{A DEVICE AND A METHOD FOR COLOR HARMONIZATION OF AN IMAGE}

본 발명은 이미지를 처리하기 위한 방법 및 장치와 관련된다. 더 자세하게는, 이미지 처리 방법은 이미지의 색들을 조화 색(harmonious color)들의 템플릿으로 매핑하는 것을 포함한다.

지각 경험을 개선하기 위해 이미지들에서 또는 이미지들의 몇몇 부분들에서 색들을 보정하는 것이 알려져 있다. 예로서, 포화 색들을 가진 이미지들은 이러한 포화 색들을 제거하고 그에 따라 지각 경험을 개선하기 위해 유리하게 처리된다.

코헨-오르(Cohen-Or)로부터의 "Color Harmonization"라는 제목의 문서는 동일한 조화 템플릿(harmonious template)들에 기초하여 이미지들을 조화시키기 위한 방법을 교시한다. 이러한 템플릿들은 도 1에 묘사된다. 이 방법은 몇 가지 결점을 갖는다. 첫째로, 알고리즘들은 완전 자동적이지 않고, "민감한" 지역들(전형적으로 자신들의 원색을 잃으면 부자연스럽게 보이는 피부 또는 하늘)에 대한 수작업 주석 처리(manual annotation)를 요구한다. 둘째로, 색 매핑은 매우 초보적이다. 이것은 템플릿에서 가우스 필터 제약 조건(Gaussian filter constraint)을 적용함으로써 원래 이미지의 컬러 팔레트(color palette)를 매핑한다.

본 발명은 종래 기술의 결점들 중 적어도 한 가지를 해소하는 것을 목적으로 한다. 이 목적을 위해, 본 발명은:

- 이미지에서 관심 영역들을 결정하는 단계;

- 관심 영역들의 색 히스토그램을 결정하는 단계;

- 템플릿들의 세트에서 색 히스토그램과 일치하는 제1 템플릿을 선택하는 단계 - 각각의 템플릿은 조화 색 값들의 일부를 정의함-; 및

- 이미지를 처리하는 단계 - 이미지를 처리하는 단계는 이미지의 색들을 최종 템플릿으로 매핑하는 단계를 포함하고, 최종 템플릿은 제1 템플릿임-

를 포함하는 이미지 처리 방법과 관계된다.

본 발명에 따른 방법은 종래 기술 해결책에 비해 이미지 지각 품질을 향상시킨다. 게다가, 본 방법은 완전 자동적이다.

본 발명의 또 다른 양태에 따라, 본 방법은 이미지의 색 히스토그램을 결정하는 단계, 이미지의 색 히스토그램과 일치하는 제2 템플릿을 선택하는 단계, 제1 및 제2 템플릿들을 조합된 템플릿으로 조합하는 단계, 및 템플릿들의 세트에서 조합된 템플릿과 일치하는 템플릿을 선택하는 단계를 추가로 포함하며, 여기서 최종 템플릿은 조합된 템플릿과 일치하는 선택된 템플릿이다.

유리하게는, 템플릿은 상이한 부분들로 이뤄지고, 본 방법은 이미지를 유사한 색들의 영역들로 분할(segment)하는 단계를 추가로 포함하고, 여기서 이미지를 처리하는 데에 있어서, 동일 분할된 영역들에서의 픽셀들은 최종 템플릿의 하나의 동일 부분으로 매핑된다.

특정 실시예에 따라, 색 히스토그램과 일치하는 템플릿을 선택하는 단계는 템플릿의 확률 분포와 색 히스토그램 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 계산하는 단계를 포함한다.

본 발명의 특정 특징에 따라, 색 히스토그램들은 다음과 같은 HSV 색 공간에서 계산된다:

여기서, Mi는 대응 색 히스토그램의 i번째 빈(bin)이고,

H[u,v]는 픽셀 [u,v]의 색상(Hue) 값이고,

S[x,y]는 픽셀 [x,y]의 채도(Saturation) 값이고, 및

V[x,y]는 픽셀 [x,y]의 명도(Value) 값이다.

유리하게는, 관심 영역들은 돌출 맵(saliency map)들을 2진화함으로써 결정된다.

유리하게는, 이미지의 색들을 최종 템플릿으로 매핑하는 것은 시그모이드 함수(sigmoid function)에 따라 행해진다.

또 다른 양태에 따라, 본 방법은 가장 자리상에 자리잡은 픽셀들을 블러링(blurring)하는 단계를 추가로 포함한다.

본 발명은 또한:

- 이미지에서 관심 영역들을 결정하기 위한 수단;

- 관심 영역들의 색 히스토그램을 결정하기 위한 수단;

- 템플릿들의 세트에서 색 히스토그램과 일치하는 제1 템플릿을 선택하기 위한 수단 -각각의 템플릿은 조화 색 값들의 일부를 정의함-; 및

- 이미지를 처리하기 위한 수단 - 이미지를 처리하는 것은 이미지의 색들을 최종 템플릿으로 매핑하는 것을 포함하고, 최종 템플릿은 제1 템플릿임-

을 포함하는 이미지 처리 장치에 관한 것이다.

유리하게는, 본 장치는 처리 방법의 단계들을 실행하도록 구성된다.

본 발명의 다른 특징 및 이점은 그 실시예들 중 일부에 대한 하기 설명에 따라 드러날 것인데, 이 설명은 하기 도면들과 연계하여 이루어진다:
도 1은 색 템플릿들을 나타낸다;
도 2는 본 발명에 따른 이미지 처리 방법의 흐름도를 묘사한다;
도 3은 두 개의 픽셀 A 및 B의 색상 휠 및 매핑 방향들을 나타낸다; 및
도 4는 본 발명에 따른 이미지 처리 장치를 묘사한다.

본 발명은 더 조화로운 방식으로 색들을 렌더링함으로써 시각 경험을 개선하는 것을 목표로 한다. 사실상, 이미지가 "이상한" 색(이미지의 전역적 색상과 다름)을 가진 비 관심 대상인 하나의 물체를 가질 때, 해당 색을 보정할 필요성이 있다.

첫째로, 이미지에서의 관심 영역들이 결정된다. 그러면, 이러한 관심 영역들의 색 히스토그램들이 계산된다. 이후 방법은 가장 주의를 끄는 픽셀들을 지각적으로 선택함으로써 최근접 조화 템플릿을 찾아낸다. 템플릿은 동시에 존재할 때 전역적 조화 효과를 렌더링하고/반영하는 것으로서 여겨지는 HSV 값들(색상, 채도 및 명도)의 세트이다. 각각의 템플릿은 도 1에 묘사된 것처럼 상이한 부분들/섹터들로 만들어진다. 일단 최근접 조화 템플릿이 예를 들어 에너지 최소화를 통해서 추정되면, 조화되지 않은 것으로서 여겨지는(즉, 그 색 값들이 템플릿의 섹터들의 외부에 있는) 색은 색조 매핑 함수(tone mapping function)에 의해 템플릿으로(또는 이런 최종 템플릿에 매우 가깝게) 매핑된다.

본 발명의 완전한 구현이 도 2에 묘사된다. 방법 단계들의 일부는 선택 사항이다. 방법 중의 4개의 수반되는 단계가 하기에 기술된다. 하기 방법이 동일 처리를 연속 프레임들에 적용함으로써 비디오 소스에 확장될 수 있다는 것을 알 수 있다.

단계 10에서, 관심 영역들이 결정된다. 본 발명은 관심 영역들이 결정되는 방식에 의해 제한되지 않는다. 특정 실시예에 따라, 0부터 255까지의 값들을 가지며 가장 시각적으로 주의를 끄는 픽셀들을 나타내는 돌출 맵(saliency map)이 구축된다. 돌출 맵을 2진화함으로써, 관심 영역들, 즉 그 돌출 값이 임계값보다 더 큰 영역들을 결정할 수 있다. 돌출 맵을 구축하는 것은 시각 시스템의 모델링에 기초한다. 그러한 시각 집중 모델(visual attention model)은 2005년 6월 30일자에 제1695288호로 공표된 EP 특허 출원 04804828.4에서 특허되었다.

단계 12에서, 도 1에 묘사되고 코헨-오르로부터의 "Color Harmonization"에서 정의된 템플릿들

중 하나가 α만큼의 회전에 종속되어(subject to a rotation) 선택된다. 그러므로, 템플릿 T가 선택될 뿐만 아니라 오리엔테이션(orientation)을 가진 템플릿이 선택된다. N 유형의 템플릿은 이용되지 않는다. 명료성을 위하여, 템플릿은 오리엔테이션을 가진 템플릿 유형을 의미하는 것으로 또한 사용된다. 이미지들의 관심 영역들 또는 돌출 부분들의 색 히스토그램 M은 하나의 템플릿을 선택하는 것을 돕기 위해서 하기에 정의된 바와 같은 HSV 공간에서 계산된다. 이것은 채도 및 명도에 의해 가중된 정규화된 색상 분포이다:

i는 보통 0에서 360까지 변화하는데, 반드시 그런 것은 아니다.

이후, 색상 분포 M에 가장 잘 들어맞는 적합 템플릿 T_m0 및 연관된 오리엔테이션 α0가 각각의 템플릿 및 각각의 오리엔테이션에 대해 계산되는 쿨백-라이블러 발산을 최소화함으로써 선택된다:

여기서, P(m,α)는 오리엔테이션 α에 대한 템플릿 m의 분포이다. 여기서 P(m,α)는 전형적으로 M에 대한 조화된 모델, 기술, 또는 근사(a harmonized model, description, or approximation of M)를 나타낸다. P_i는 분포의 하나의 빈을 표시하고, M_i는 히스토그램의 하나의 빈을 표시한다. 변형에 따라, 템플릿 T_m0 및 연관된 오리엔테이션 α0은 이것이 색상 분포 M과 일치하도록, 즉 쿨백-라이블러 발산

이 임계값 미만이 되도록 선택된다. 이 경우에 템플릿은 반드시 색상 분포 M에 가장 잘 들어맞는 것은 아니고, 색상 분포 M에 근접한 것이다.

또 다른 실시예에 따라서, 단계 12는 이미지에 가장 잘 들어맞는 템플릿을 찾기 위해 전체 이미지에 대해 또 다른 시간에(another time) 실행된다. 원래 이미지의 색 히스토그램 M'은 하나의 템플릿을 선택하는 것을 돕기 위해 하기 정의된 것과 같은 HSV 공간에서 계산된다. 이것은 채도 및 명도에 의해 가중된 정규화된 색상 분포이다:

이후, 색상 분포 M'에 가장 잘 들어맞는 적합한 템플릿 T_m1 및 연관된 오리엔테이션 α1이 각각의 템플릿 및 각각의 오리엔테이션에 대해 계산되는 쿨백-라이블러 발산을 최소화함으로써 선택된다:

여기서 P(m,α)는 오리엔테이션 α에 대한 템플릿 m의 분포이다. 여기서 P(m,α)는 전형적으로 M'에 대한 조화된 모델, 기술, 또는 근사를 나타낸다. 분포 P(m,α)는 HVS 값들의 각각의 섹터들/부분들에서 균일할 수 있거나 또는 범프 함수(bump function)일 수 있다. 본 발명은 분포가 정의되는 방식에 의해 제한되지 않는다. 변형에 따라, 템플릿 T_m1 및 연관된 오리엔테이션 α1은 이것이 색상 분포 M과 일치하도록, 즉 쿨백-라이블러 발산

이 임계값 미만이 되도록 선택된다. 이 경우에, 템플릿은 반드시 색상 분포 M'에 가장 잘 들어맞는 것은 아니고, 색상 분포 M'에 근접한 것이다.

템플릿들 T_m0 및 T_m1 양자는 이후 조합되고 이 조합에게 가장 유사한 템플릿이, 9개의 조화 템플릿 중에서, 조합과 각각의 템플릿 및 각각의 오리엔테이션에 대해 계산된 분포 간의 쿨백-라이블러 발산을 최소화함으로써 선택된다. 변형에 따라, 템플릿은 템플릿들의 조합과 선택된 템플릿에 대해 계산된 분포 간의 쿨백-라이블러 발산이 임계값 미만이 되도록 선택된다. 첫째로, 양 템플릿들은 새로운 분포 P'을 형성하기 위해 조합된다. 이 조합은 각각의 빈에 대해 전체 이미지에 대해 계산된 템플릿의 히스토그램에서의 및 돌출 픽셀들에 대해 계산된 템플릿에서의 최대값을 취하는 것을 포함한다. 각각의 빈 i에 대해,

.

둘째로, 조합에 가장 유사한 템플릿 T_m3 및 오리엔테이션 α3은, 9개의 조화 템플릿 중에서, 조합과 각각의 템플릿 및 각각의 오리엔테이션에 대해 계산된 분포 간의 쿨백-라이블러 발산을 최소화함으로써 찾아지는데, 즉

를 최소화하는 템플릿 및 오리엔테이션이 찾아진다.

변형에 따라서, 오리엔테이션 α3을 가진 가장 유사한 템플릿 T_m3은 전체 이미지 히스토그램과 비교된다. 이 목적을 위해, 하기 쿨백-라이블러 발산이 계산된다:

이 발산 d3이 k×(전체 이미지 히스토그램과 연관된 오리엔테이션 α1을 가진 템플릿 T_m1 간의 쿨백-라이블러 발산 d1)보다 크다면 -여기서, k는 예를 들어 2와 같음-, 조합에 대해 다음으로 가장 유사한 오리엔테이션 α4를 가진 템플릿 T_m4는, 8개의 남아있는 조화 템플릿(템플릿 T_m3 및 오리엔테이션 α3은 세트로부터 제외됨) 중에서, 조합과 각각의 템플릿 및 각각의 오리엔테이션에 대해 계산된 분포 간의 쿨백-라이블러 발산을 최소화함으로써 선택되는데, 즉

를 최소화하는 템플릿 및 오리엔테이션이 선택된다.

이 처리는, 조합과 가장 유사하고 또한 전체 이미지 히스토그램과의 쿨백-라이블러 발산이 k×(원래 이미지 히스토그램과 연관된 오리엔테이션 α1 을 가진 템플릿 T_m1 간의 쿨백-라이블러 발산)보다 작은 템플릿 및 오리엔테이션을 찾을 때까지 반복된다.

변형에 따라, 템플릿 T_m3 및 오리엔테이션 α3은 템플릿들의 조합과 선택된 템플릿에 대해 계산된 분포 간의 쿨백-라이블러 발산이 임계값 미만이 되도록 선택된다. 이 경우에, 템플릿(T_m3,α3)은 반드시 색상 분포 M'에 가장 잘 들어맞는 것은 아니고, 색상 분포 M'에 근접한 것이다.

단계 16에서, 원래 이미지의 픽셀들은 결정된 템플릿으로 매핑된다. 템플릿은 돌출된 지역들에만 기초하여 결정되거나, 또는 조합된 템플릿이다. 더 정확하게는, 특이점들(outliers)(이들이 선택된 템플릿 외부에 있다는 점에서 그러함)은 정밀한 색조 매핑 함수들을 적용함으로써 조화 섹터(들)로 매핑되거나 이것에 근접하게 매핑된다.

따라서 시그모이드 함수가 각각의 픽셀 p의 색상을 매핑하는데 사용된다:

여기서, C(p)는 p와 연관된 섹터의 중심 색상이고, w는 템플릿 섹터의 호의 폭(arc-width)이고, ∥∥는 색상 휠상에서의 호 길이 거리(arc-length distance)이고, Sgn은 매핑 방향과 연관된 부호이다. 픽셀은 예를 들어 최근접한 섹터 변상에 매핑된다. 도 3에 묘사된 것처럼, 픽셀 A는 예를 들어 우변이 가장 가까운 변이기 때문에 섹터의 우변상에 매핑되는 한편, 픽셀 B는 섹터의 좌변상에 매핑된다. 색상 휠이 오리엔테이션되므로, Sgn은 매핑 방향 및 휠의 오리엔테이션이 반대 방향일 때(픽셀 A의 경우) 양의 값인 한편, Sgn은 다른 경우에는 (픽셀 B의 경우) 음의 값이다. 본 발명에 따라, 주어진 픽셀에 대한 매핑 방향은 픽셀이 섹터의 최근접 변에서 매핑되도록 반드시 결정되는 것은 아니다. 이 시그모이드는 픽셀 매핑에 대한 양호한 속성들을 갖는다. 극값에서의 그 점근선(asymptote)은 템플릿에서의 픽셀들을 자동 클램핑하고 그 중앙부(정상 거동)는 거의 선형이고, 따라서 섹터의 중심에서 색상들은 변화되지 않는다. 제안된 매핑 함수는 조화 섹터들의 중심에서 원래의 색상 값들을 보장하고 템플릿 외부에서의 색상 값들을 더 강하게 압축한다. 조화 색(harmonic color)들은 보존되고, 비 조화 색상들만이 수정된다.

그러나 피부 및 하늘 지역들은 앞서 기술한 것처럼 픽셀 매핑 단계 16에서 수정될 때 자연스럽지 않다. 사실상, 유사한 색들을 갖는 두 개의 인접 픽셀이 반대 방향들로 및 결과적으로 동일 섹터의 마주보는 변들에서 또는 상이한 섹터들에서 매핑될 수 있기 때문에 몇몇 아티팩트들이 이 단계 동안 생성될 수 있다. 또 다른 실시예에 따라, 이러한 아티팩트들을 제거하기 위해, 원래 이미지의 분할 맵 또는 색 양자화된 맵 CM이 선택 사항인 단계 14에서 결정되고 또한 CM 맵 또는 분할 맵의 동일 분할된 지역에서의 모든 픽셀들이 동일 매핑 방향으로 및 결과적으로 동일 섹터에서 매핑되는 것을 보장하기 위해 단계 16 동안 이용된다. 이런 매핑 방향은 예를 들어 주어진 분할된 지역에서의 픽셀들에게 주로 할당되는 것이다. 이런 매핑 방향은 예를 들어 그 분할된 지역의 매핑의 방향을 각각의 픽셀과 연관시키는 방향 매핑 맵에 저장된다. 색 양자화된 맵 CM 또는 분할 맵은 가까운 색들을 갖는 원래 이미지에서의 상이한 영역들을 정의한다. 그러한 맵을 제공하는 임의의 방법이 이용될 수 있다. 예로서, IEEE Transactions in Image Processing 2009에 공개된 J. van de Weijer 등에 의한 "Learning Color Names for Real-World Applications"에서 기술된 방법이 해결책이다. 색 조화를 위해, 색 분할의 공간적 양상은 강제적이지 않다. 그러므로, 인기있는 K-평균화 방법(K-means method)과 같은 히스토그램 분할 기법(histogram segmentation technique)이 여기에 적합하다. 그러나, 그와 같은 히스토그램 분할은 하기 제약 조건들을 준수하여야 한다:

- 이것은 관리되지 않아야 하는데, 이는 색 클러스터들의 최종 수가 파라미터가 되지 않아야 하는 것을 의미한다. 실제로, 색 조화는 의미 있는 색들의 부정확한 수에 매우 민감할 것이다.

- 히스토그램 분할 기법은 히스토그램의 작은 모드들을 분할할 수 있어야만 한다. 다시 말하면, 색 특이점들로 보여질 수 있었던 작은 영역들은 별개의 모드들로서 검출되어야 한다.

이러한 요구 사항들을 만족시키기 위해, 델론(Delon) 등의 작업에 기초하여 구축되고 ACoPa(Automatic Color Palette)로 지칭되고 IEEE Transactions on Image Processing, 16(1):253-261, 2007에 공개된 "A nonparametric approach for histogram segmentation"이라고 제목이 붙은 논문에 개시된 색 분할 방법이 개시되었다. 이런 색 분할 기법은 색 히스토그램 모드들의 콘트라리오(contrario) 분석에 기초한다. 의미 있는 히스토그램 모드들의 통계적 추정이 실행된다. H, 이후 S, 이후 V 공간에서의 모드들의 위계적 추정(hierarchical estimation) 대신에, 각각의 컴포넌트의 히스토그램 분해가 독립적으로 실행된다. 획득된 모드들은 획득된 모든 모드들로부터 조합되고, 매우 제한된 픽셀들의 그룹을 가진 분할부들(segments)이 폐기된다. 최종적으로, 이러한 히스토그램 모드들에 기초하여, K-평균화 후 처리가 실험(Lab) 색 공간에서 표현된 사전을 이용하여 지각적으로 유사한 모드들을 그룹화하는 데에 사용된다.

이 분할 기법은 원래 버전보다 대략 10배 더 빠르다. 게다가, 이것은 무색 픽셀들을 더 효율적으로 다룬다. 비 공간적 알고리즘을 이용하는 것은 동일 색들을 갖는 모든 픽셀들을 이들의 위치에 대한 사전 전제(priori) 없이 취급하는 것을 허용한다.

이 분할은 완전하지 않고 또한 각각의 지역이 이들의 색들이 원래 근접하면서 상이한 매핑 방향을 갖는다면 분할된 지역들의 가장 자리들에서 몇몇 아티팩트들이 출현할 수 있다. 이러한 아티팩트들은 반대 방향들에서 색상 매핑을 거치는 분할된 지역들의 최전선(frontier)들상에만 출현한다.

또 다른 실시예에 따라, 위의 문제를 극복하기 위해 평균 필터에 의해 가장 자리들에서 픽셀들을 블러링(blur)하는 후 처리 단계가 그에 따라 적용된다. 관계된 최전선들은 블러링될 픽셀들을 식별하는 마스크를 얻기 위해 방향 매핑 맵에 적용되는 기울기 필터(gradient filter)에 의해 검출된다. 마스크는 단계 16에서 획득되는 수정된 색상 화상(hue picture)에서의 대응 픽셀들을 블러링하는 데에 사용된다. 블러링될 픽셀들의 수는 소스 화상에서의 이 로케이션에서의 블러링 양에 의존한다. 사실상 원래의 선명한 지역들은 블러링될 필요가 없는데, 이는 혼란스러울 수 있기 때문이다. 블러링 양은 예를 들어, 명칭 "Blur detection for digital images using wavelet transform," IEEE International Conference on Multimedia & Expo, IEEE Press, pp. 17-20, 2004인 H. Tong, M. Li 등의 문서에 개시된 방법에 기초하여 계산된다.

도 4는 특정한 비제한적인 실시예에 따른 처리 장치(2)의 예시적 아키텍처를 나타낸다. 처리 장치는 예를 들어 태블릿, PDA 또는 셀폰일 수 있다. 처리 장치(2)는 데이터 및 주소 버스(24)에 의해 함께 링크되는 하기 요소들을 포함한다:

- 예를 들어, DSP(또는 디지털 신호 프로세서)인 마이크로프로세서(21)(또는 CPU);

- ROM(또는 판독 전용 메모리)(22);

- RAM(또는 랜덤 액세스 메모리)(23);

- 예를 들어 키보드, 마우스 등의 하나 또는 몇 개의 입/출력 인터페이스(들)(25); 및

- 배터리(26).

도 3의 각각의 이러한 요소들은 당업자에게 잘 알려져 있고, 추가로 개시되지 않을 것이다. 처리 장치(2)는 처리된 이미지들을 표시하기 위한 스크린과 같은 표시 수단을 포함할 수 있다. 각각의 언급된 메모리에서, 본 명세서에서 사용되는 는 단어 <<레지스터>>는 작은 용량(몇 개의 비트)의 지역에 또는 매우 큰 지역(예를 들어, 전체 프로그램 또는 많은 양의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. 특정 실시예에 따라, 본 발명에 따른 처리 방법의 알고리즘들은 ROM(22)에 저장된다. RAM(23)은 CPU(21)에 의해 실행되고 처리 장치(2)의 스위치 온(switch on) 후에 업로딩되는 프로그램을 레지스터 내에 포함한다. 스위치 온 될 때, CPU(21)는 프로그램을 RAM에 업로딩하고, 대응하는 명령어들을 실행한다. 처리될 이미지들은 입/출력 인터페이스들(25) 중 하나상에서 수신된다. 입/출력 인터페이스(25) 중 하나는 본 발명에 따라 처리되는 이미지들을 전송하도록 구성된다.

변형들에 따라, 본 발명과 양립하는 처리 장치들(2)은, 예를 들어 (예로, ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field-Programmable Gate Array) 또는 VLSI(Very Large Scale Integration)에서의) 전용 컴포넌트의 또는 장치 내에 통합된 몇 개의 전자 컴포넌트의 형태의 순수 하드웨어 구현에 따라 또는 심지어 하드웨어 요소들과 소프트웨어 요소들의 혼합 형태로 구현된다.

Claims

이미지를 처리하기 위한 방법으로서:
상기 이미지에서 관심 영역들을 결정하는 단계(10);
상기 관심 영역들의 색 히스토그램(color histogram)을 결정하는 단계(12);
템플릿들의 세트에서 상기 색 히스토그램과 일치하는 제1 템플릿을 선택하는 단계(12) -각각의 템플릿은 조화 색 값들(harmonious color values)의 일부를 정의함-; 및
상기 이미지를 처리하는 단계 -상기 이미지를 처리하는 단계는 상기 이미지의 색들을 최종 템플릿으로 매핑하는 단계를 포함하고, 상기 최종 템플릿은 상기 제1 템플릿임-
를 포함하는 이미지 처리 방법.
제1항에 있어서, 상기 이미지의 색 히스토그램을 결정하는 단계, 상기 이미지의 상기 색 히스토그램과 일치하는 제2 템플릿을 선택하는 단계, 상기 제1 및 제2 템플릿들을 조합된 템플릿으로 조합하는 단계 및 상기 템플릿들의 세트에서 상기 조합된 템플릿과 일치하는 템플릿을 선택하는 단계를 더 포함하고, 상기 최종 템플릿은 상기 조합된 템플릿과 일치하는 선택된 상기 템플릿인, 이미지 처리 방법.
제1항 또는 제2항에 있어서, 템플릿이 상이한 부분들로 만들어지고, 상기 방법은 상기 이미지를 유사한 색들의 영역들로 분할(segment)하는 단계를 더 포함하고, 상기 이미지를 처리하는 데 있어서, 동일 분할된 영역들에서의 픽셀들이 상기 최종 템플릿의 하나의 동일 부분으로 매핑되는, 이미지 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 색 히스토그램과 일치하는 템플릿을 선택하는 단계는 상기 템플릿의 확률 분포와 상기 색 히스토그램 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 계산하는 단계를 포함하는, 이미지 처리 방법.
제2항 내지 제4항 중 어느 한 항에 있어서, 상기 관심 영역들의 색 히스토그램 및 상기 이미지의 색 히스토그램은:

과 같이 HSV 색 공간에서 계산되고,
여기서, Mi는 대응하는 색 히스토그램의 i번째 빈(bin)이고,
H[u,v]는 픽셀 [u,v]의 색상 값이고,
S[x,y]는 픽셀 [x,y]의 채도 값이고,
V[x,y]는 픽셀 [x,y]의 명도 값인, 이미지 처리 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 관심 영역들은 돌출 맵(saliency map)을 2진화함으로써 결정되는, 이미지 처리 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 이미지의 색들을 상기 최종 템플릿으로 매핑하는 단계는 시그모이드 함수(sigmoid function)에 따라 행해지는, 이미지 처리 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 가장 자리상에 자리 잡은 상기 픽셀들을 블러링(blurring)하는 단계를 더 포함하는 이미지 처리 방법.
이미지를 처리하기 위한 장치로서:
상기 이미지에서 관심 영역들을 결정하기 위한 수단;
상기 관심 영역들의 색 히스토그램을 결정하기 위한 수단;
템플릿들의 세트에서 상기 색 히스토그램과 일치하는 제1 템플릿을 선택하기 위한 수단 -각각의 템플릿은 조화 색 값들의 일부를 정의함-; 및
상기 이미지를 처리하기 위한 수단 -상기 이미지를 처리하는 것은 상기 이미지의 색들을 최종 템플릿으로 매핑하는 것을 포함하고, 상기 최종 템플릿은 상기 제1 템플릿임-
을 포함하는 이미지 처리 장치.
제9항에 있어서, 상기 장치는 제1 항 내지 제8항 중 어느 한 항에 따른 처리 방법의 단계들을 실행하도록 구성되는, 이미지 처리 장치.