KR101112142B1 - 참조 이미지를 이용한 카툰 렌더링 장치 및 방법 - Google Patents

Abstract

참조 이미지를 이용한 카툰 렌더링 장치 및 방법이 개시된다. 특징점 추출부는 입력받은 대상 이미지로부터 특징점을 추출한다. 특징점 변형부는 추출된 특징점들의 분포가 사전에 저장된 복수의 참조 이미지 중에서 선택된 참조 이미지로부터 추출된 특징점들의 분포와 동일하게 되도록 대상 이미지의 특징점들의 분포를 변형하여 과장 이미지를 생성한다. 렌더링부는 과장 이미지에서 색상값의 차가 사전에 설정된 기준값 이하인 인접한 픽셀의 색상을 일치시켜 추상 이미지를 생성하고, 대상 이미지로부터 추출된 에지로 이루어진 에지 이미지를 추상 이미지와 결합하여 만화 기법으로 표현된 결과 이미지를 생성한다. 본 발명에 따르면, 전문적인 지식이 없는 사용자가 원하는 특징을 가진 참조 이미지를 선택하는 것만으로 간단하게 만화 스타일의 이미지를 얻을 수 있다.

Description

참조 이미지를 이용한 카툰 렌더링 장치 및 방법{Apparatus and method for cartoon rendering using reference image}

본 발명은 참조 이미지를 이용한 카툰 렌더링 장치 및 방법에 관한 것으로, 보다 상세하게는, 입력받은 이미지로부터 참조 이미지의 개성이 드러난 만화 스타일의 이미지를 생성하는 장치 및 방법에 관한 것이다.

비사실적 렌더링(Non-photorealistic rendering)은 다양한 표현 기법을 통하여 영상이나 사물을 사실적이지 않은 영상으로 생성하는 기법을 통칭하는 것으로, 1990년대 이후 컴퓨터 그래픽스 분야의 중요한 연구주제 중의 하나가 되었다.

비사실적 렌더링은 표현 기법에 따라 회화적 렌더링(painterly rendering), 카툰 렌더링(cartoon rendering), 모자이크 렌더링(mosaic rendering) 및 테크니컬 일러스트레이션(technical illustration)으로 분류된다. 이 중에서 카툰 렌더링 기술은 2차원 영상이나 3차원 기하학적 정보를 만화 영상처럼 변형시켜주는 기술로, 입력 데이터에 따라 2차원 영상을 입력으로 사용하는 2차원 기반 카툰 렌더링과 3차원 기하학 정보를 입력으로 사용하는 3차원 기반 카툰 렌더링으로 분류된다.

3차원 기반 카툰 렌더링은 많은 연구가 이루어져 현재 영화, 애니메이션 및 게임 등 미디어 산업 전반에서 사용되고 있다. 반면, 2차원 기반 카툰 렌더링은 진행된 연구들이 많지 않아 적용된 사례가 적고, 현재 방송과 광고 등에서 제한적으로 사용되고 있다.

일반적으로 만화는 그 주요한 특징으로 단순화 및 과장된 표현을 가지며, 기존의 카툰 렌더링에 관한 연구들은 이러한 특징 중에서 대상을 단순하게 표현하는 것에 초점을 두고 진행되었다. 2차원 기반 카툰 렌더링에 대하여는 대상을 과장하여 표현하는 것에 초점을 맞춘 연구가 이루어진 바 있으나, 하나의 정해진 알고리즘에 의해 단순히 대상을 변형시키거나 특정 트레이닝 데이터에 기반하여 대상을 변형하기 때문에 대상을 여러 가지 형태의 만화 스타일 영상으로 표현하는 것이 불가능하거나 매우 어렵다는 문제가 있다.

카툰 렌더링에 관한 기존의 연구 중 하나는 3차원 객체로 구성된 장면에 만화와 같은 효과를 주기 위하여 객체의 외곽선을 그리고 내부의 면을 균일한 색으로 칠하였다. 그리고 그림자에 해당하는 부분을 표현함으로써 만화와 같은 영상을 생성하였다. 도 1은 기존의 카툰 렌더링 기법에 의해 생성된 영상의 예를 나타낸 도면으로, 좌측과 같이 3차원 객체를 포함하는 영상이 단순화된 색상 표현에 의해 우측과 같이 만화적 효과가 나타나는 영상으로 변형되었다.

또한 대상을 만화 스타일로 표현하기 위하여 2차원 이미지 상의 깊이 정보를 추출하는 방법에 대한 연구가 이루어진 바 있다. 이 연구에서는 특수 카메라에 의해 다양한 각도에서 플래쉬를 터트려 촬영한 대상 이미지의 그림자 정보를 통해 영상의 깊이 정보를 추출하였다. 도 2는 2차원 영상의 깊이 정보를 추출하여 렌더링된 영상의 예를 나타낸 도면이다. 도 2의 가장 좌측은 깊이 정보 추출을 위해 사용된 특수 카메라이고, 가운데의 영상은 카툰 렌더링의 대상이 되는 이미지, 그리고 우측 영상은 카툰 렌더링에 의해 얻어진 이미지이다. 도 2를 참조하면, 대상 이미지로부터 추출된 깊이 정보를 이용하여 외곽선을 생성하고, 외곽선의 내부 영역은 단순화하여 채움으로써 만화 스타일의 영상이 생성된다.

한편, 2차원 이미지 내의 정보만을 이용하여 만화와 같은 영상을 생성하는 기법이 연구되었는데, 이 연구에서는 양방향 필터를 이용하여 대상을 단순화하면서도 이미지의 경계정보를 유지하였고, DoG(Difference of Gaussian) 에지 검출 방법을 사용하여 영역의 경계를 표현하였다. 또한 색상 정보 중에서 명도 영역을 양자화하여 만화 효과를 극대화하였다. 도 3에 이와 같은 카툰 렌더링 결과 얻어진 이미지의 예를 나타내었다. 이러한 카툰 렌더링 기법은 속도가 매우 빠르므로 실시간으로 비디오에 적용하는 것이 가능하다.

한편, 대상을 변형하여 표현할 수 있는 기법에 관한 연구도 이루어졌으며, 그 중 하나로서 트레이닝 데이터를 이용하여 만화 이미지를 생성하는 연구가 수행되었다. 도 4는 트레이닝 데이터에 의한 카툰 렌더링 결과를 나타낸 도면으로, 사용자에게 결과 영상의 조작이 가능한 툴을 제공함으로써 대상을 과장하여 표현할 수 있도록 하였다. 그 결과 사용자가 자유롭게 대상을 변형시킬 수 있는 기회를 제공하였지만, 결과 영상의 품질이 사용자에게 의존적이라는 문제가 있다.

또한 대상 얼굴의 특징점을 변형시킴으로써 대상을 과장하여 표현하는 기법이 연구되었다. 도 5는 특징점 변형에 의한 카툰 렌더링의 예를 나타낸 도면이다. 도 5를 참조하면, 대상 얼굴에 특징점을 정의하고 입력 대상 얼굴의 특징점을 변형시킨 뒤, 아티스트의 캐리커쳐 작품을 특징점을 기준으로 변형시키는 방법을 사용하였다. 이는 아티스트의 캐리커쳐 작품을 다양하게 하여 여러 가지 스타일을 만들 수 있으나, 아티스트에 의존적이라는 문제가 있었다.

본 발명이 이루고자 하는 기술적 과제는, 참조 이미지의 선택에 따라 대상을 다양하게 변형하여 표현할 수 있으며, 사용자가 간단하게 사용 가능한 참조 이미지를 이용한 카툰 렌더링 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 참조 이미지의 선택에 따라 대상을 다양하게 변형하여 표현할 수 있으며, 사용자가 간단하게 사용 가능한 참조 이미지를 이용한 카툰 렌더링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 참조 이미지를 이용한 카툰 렌더링 장치는, 입력받은 대상 이미지로부터 특징점을 추출하는 특징점 추출부; 상기 추출된 특징점들의 분포가 사전에 저장된 복수의 참조 이미지 중에서 선택된 참조 이미지로부터 추출된 특징점들의 분포와 동일하게 되도록 상기 대상 이미지의 특징점들의 분포를 변형하여 과장 이미지를 생성하는 특징점 변형부; 및 상기 과장 이미지에서 색상값의 차가 사전에 설정된 기준값 이하인 인접한 픽셀의 색상을 일치시켜 추상 이미지를 생성하고, 상기 대상 이미지로부터 추출된 에지로 이루어진 에지 이미지를 상기 추상 이미지와 결합하여 만화 기법으로 표현된 결과 이미지를 생성하는 렌더링부;를 구비한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 참조 이미지를 이용한 카툰 렌더링 방법은, 입력받은 대상 이미지로부터 특징점을 추출하는 특징점 추출단계; 상기 추출된 특징점들의 분포가 사전에 저장된 복수의 참조 이미지 중에서 선택된 참조 이미지로부터 추출된 특징점들의 분포와 동일하게 되도록 상기 대상 이미지의 특징점들의 분포를 변형하여 과장 이미지를 생성하는 특징점 변형단계; 및 상기 과장 이미지에서 색상값의 차가 사전에 설정된 기준값 이하인 인접한 픽셀의 색상을 일치시켜 추상 이미지를 생성하고, 상기 대상 이미지로부터 추출된 에지로 이루어진 에지 이미지를 상기 추상 이미지와 결합하여 만화 기법으로 표현된 결과 이미지를 생성하는 렌더링단계;를 갖는다.

본 발명에 따른 참조 이미지를 이용한 카툰 렌더링 장치 및 방법에 의하면, 입력받은 대상 이미지로부터 만화 기법의 결과 이미지를 생성하기 위해 복수의 참조 이미지 중에서 선택된 참조 이미지를 기초로 대상 이미지를 변형함으로써 전문적인 지식이 없는 사용자가 원하는 특징을 가진 참조 이미지를 선택하는 것만으로 간단하게 만화 스타일의 이미지를 얻을 수 있다. 또한 변형된 대상 이미지의 색상을 단순화하고 에지를 추출하는 한편 명도의 양자화를 통해 결과 이미지에서 만화적인 느낌을 더욱 강조하여 표현할 수 있다.

도 1은 기존의 카툰 렌더링 기법에 의해 생성된 영상의 예를 나타낸 도면,
도 2는 2차원 영상의 깊이 정보를 추출하여 렌더링된 영상의 예를 나타낸 도면,
도 3은 기존의 카툰 렌더링 결과 얻어진 이미지의 예를 나타낸 도면,
도 4는 트레이닝 데이터에 의한 카툰 렌더링 결과를 나타낸 도면,
도 5는 특징점 변형에 의한 카툰 렌더링의 예를 나타낸 도면,
도 6은 본 발명에 따른 참조 이미지를 이용한 카툰 렌더링 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 7은 동적 외형 모델을 적용하기 위해 사용되는 트레이닝 이미지 및 각각의 트레이닝 이미지로부터 추출된 특징점 데이터의 예를 나타낸 도면,
도 8은 대상 이미지로부터 잘못된 특징점이 추출되는 예를 나타낸 도면,
도 9는 입력 이미지에 대한 와핑에 의해 생성된 결과 이미지를 나타낸 도면,
도 10은 참조 이미지로 사용될 수 있는 만화 스타일의 이미지의 예를 나타낸 도면,
도 11은 참조 이미지 및 각각의 참조 이미지에 대응하여 생성된 특징 모델을 나타낸 도면,
도 12는 변형 함수를 전방향 사상을 적용할 때 나타나는 문제점에 대하여 도시한 도면,
도 13은 역방향 사상에 의해 대상 이미지로부터 과장 이미지를 생성하는 일 예를 나타낸 도면,
도 14는 가우시안 필터와 양방향 필터를 적용하여 얻어진 이미지를 나타낸 도면,
도 15는 양방향 필터를 대상 이미지 및 과장 이미지에 각각 적용한 결과를 나타낸 도면,
도 16은 DoG 알고리즘을 이용하여 추출된 에지 이미지를 나타낸 도면,
도 17은 이미지에 에지를 결합한 예를 나타낸 도면,
도 18은 3차원 객체를 셀 쉐이딩 기법에 의해 표현한 예를 나타낸 도면,
도 19는 명도 양자화를 위해 생성된 테이블의 일 예를 도시한 도면,
도 20은 양자화된 이미지에 에지를 결합하여 결과 이미지를 생성하는 예를 나타낸 도면,
도 21은 본 발명에 따른 참조 이미지를 이용한 카툰 렌더링 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 22는 선택된 참조 이미지에 따라 동일한 대상 이미지로부터 서로 다른 과장 이미지가 얻어지는 예를 나타낸 도면,
도 23은 도 22에 나타난 과장 이미지로부터 생성된 결과 이미지를 나타낸 도면,
도 24는 서로 다른 대상 이미지로부터 생성된 결과 이미지를 나타낸 도면,
도 25는 정규화 기준점의 위치에 따라 얻어지는 결과 이미지를 나타낸 도면, 그리고,
도 26은 결과 이미지에 텍스쳐를 삽입한 예를 나타낸 도면이다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 참조 이미지를 이용한 카툰 렌더링 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 6은 본 발명에 따른 참조 이미지를 이용한 카툰 렌더링 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 6을 참조하면, 본 발명에 따른 카툰 렌더링 장치는, 특징점 추출부(110), 특징점 변형부(120) 및 렌더링부(130)를 구비한다. 또한 이하에서 설명하는 본 발명의 실시예에서, 대상 이미지 및 참조 이미지로는 얼굴의 형상을 포함하는 이미지가 사용된다.

특징점 추출부(110)는 입력받은 대상 이미지로부터 특징점을 추출한다. 추출된 특징점은 뒤에서 설명할 특징점 변형부(120)에 의한 대상 이미지의 변형의 기초가 된다.

본 발명에 따른 카툰 렌더링 장치에서는 대상 이미지로부터 특징점을 추출하기 위해 동적 외형 모델(Active Appearance Model : AAM)을 사용할 수 있다. 동적 외형 모델은 형태 모델과 텍스쳐 모델이 결합된 통계적 모델로서, 특징점들의 집합으로 표현된다. 동적 외형 모델의 형태 모델은 특징점들의 좌표에 해당하는 값들의 집합이며, 텍스쳐 모델은 특징점들을 삼각형으로 연결하였을 때 각 삼각형 조각들의 픽셀 값들의 집합이다. 이는 학습된 텍스쳐 정보를 기반으로 물체의 형태를 유지하면서 가장 비슷한 텍스쳐를 가지는 부분을 검색하는 방법으로, 보다 정확하게 물체의 형태 및 위치를 찾을 수 있도록 하는 알고리즘이다.

동적 외형 모델을 사용하는 경우, 미리 구축되어 있는 형태 모델을 대상 이미지 상에 위치시킨 뒤, 형태 모델에 대응하는 텍스쳐 모델과 대상 이미지의 텍스쳐 사이의 차이 값을 계산한다. 텍스쳐 간의 차이 값이 일정 임계값을 벗어나면 대상 이미지 상에 위치한 형태 모델의 위치와 크기 및 방향 등을 조금씩 조정한 뒤 텍스쳐 간의 차이 값을 다시 계산한다. 이러한 비교를 텍스쳐 간의 차이가 일정 임계값 내로 수렴할 때까지 반복한 후, 최종적으로 결정된 형태 모델이 위치하고 있는 곳이 대상 이미지에서 찾고자 하는 특징점의 위치가 된다.

특징점 추출부(110)가 동적 외형 모델을 사용하여 대상 이미지로부터 특징점을 추출할 때, 복수의 트레이닝 이미지에 각각 대응하는 특징 모델을 구성하고, 이를 기초로 하여 동적 외형 모델의 모델 데이터(200)를 생성할 수 있다. 생성된 모델 데이터(200)는 사전에 데이터베이스로 저장되어 특징점 추출부(110)에 의해 사용된다. 일 실시예로서, 트레이닝 이미지로는 48개의 정면 얼굴 사진이 사용되며, 각각의 얼굴 사진으로부터 추출된 특징점 데이터가 모델 데이터(200)로서 저장되어 동적 외형 모델을 적용할 때 사용된다.

도 7은 동적 외형 모델을 적용하기 위해 사용되는 트레이닝 이미지 및 각각의 트레이닝 이미지로부터 추출된 특징점 데이터의 예를 나타낸 도면이다. 도 7의 (a)는 트레이닝 이미지를 나타낸 것이며, (b)는 각각의 트레이닝 이미지로부터 추출된 특징점 데이터이다.

동적 외형 모델의 검색 모듈은 대상 이미지의 텍스쳐 정보와 모델 데이터(200)의 텍스쳐 정보의 차이가 가장 적은 매칭 형태를 찾는 알고리즘으로, 다음의 수학식 1과 같이 표현할 수 있다.

여기서, δI는 대상 이미지와 모델 데이터(200)의 텍스쳐 정보 간의 차이, I_i는 대상 이미지의 그레이스케일 값, 그리고 I_m은 모델 데이터(200)의 그레이스케일 값이다.

동적 외형 모델은 위 수학식 1에서 정의하는 δI를 최소화하기 위해 컨트롤 파라미터 c를 정의하며, 이는 트레이닝 이미지의 형태 모델과 텍스쳐 모델을 조절하는 파라미터이다. 동적 외형 모델은 주성분 분석(Principal Component Analysis : PCA) 알고리즘을 사용하여 구성된 형태 모델의 컨트롤 파라미터를 추출하고, 텍스쳐 모델의 컨트롤 파라미터 역시 동일한 방법으로 추출한다.

다음의 수학식 2는 대상 이미지의 형태 및 텍스쳐를 형태 모델과 텍스쳐 모델에 의해 나타낸 것이다.

여기서,

및

는 각각 대상 이미지의 평균 형태 및 평균 텍스쳐, P_s 및 P_g는 각각 형태 모델 및 텍스쳐 모델의 분산, 그리고 b_s 및 b_g는 각각 형태 모델 및 텍스쳐 모델에 대한 컨트롤 파라미터이다.

동적 외형 모델은 형태 모델 및 텍스쳐 모델에 대한 컨트롤 파라미터를 하나로 적용할 수 있는 컨트롤 파라미터 c를 도입하기 위해 주성분 분석 알고리즘을 한 번 더 적용하고, 이를 통해 도입된 파라미터 c에 의해 조절된 모델은 다음의 수학식 3과 같이 나타낼 수 있다.

여기서, Q_s 및 Q_g는 변형된 파라미터에 맞추어 다시 계산된 형태 모델 및 텍스쳐 모델의 분산이다.

이와 같이 얻어진 파라미터 c의 값을 조절하여 모델의 위치를 조절하고, 조절된 모델과 대상 이미지 간의 차에 의해 δI의 값을 계산한다. 여기서 δI는 모델 데이터(200)와 대상 이미지의 텍스쳐 값만을 비교한 결과이므로, 수학식 1은 텍스쳐에 관한 식으로 다음의 수학식 4와 같이 변형할 수 있다.

여기서, g_i는 대상 이미지의 텍스쳐 값이고, g_m은 텍스쳐 모델의 텍스쳐 값이다.

수학식 1이 수학식 4와 같이 변형됨으로써, 동적 외형 모델의 검색 모듈은 δg의 값을 최소화하는 파라미터 c를 찾는 문제가 된다. 특징점 추출부(110)는 파라미터 c의 값을 랜덤으로 조정하면서 δg의 값이 감소하는 방향을 취하는 힐 클라이밍(hill climbing) 알고리즘을 사용할 수 있다.

힐 클라이밍 알고리즘은 최적화 문제를 풀기 위한 지역 검색 알고리즘의 하나로, 간단하게 구현할 수 있는 장점이 있지만 지역 최적값으로부터 벗어나기 어렵다는 문제가 있다. 따라서 힐 클라이밍 알고리즘을 적용할 때에 동적 외형 모델의 초기 위치를 대상 이미지에서의 얼굴 위치로 지정하는 것이 바람직하다. 이때 대상 이미지에서의 얼굴 위치 검색은 컴퓨터 비전 라이브러리인 OpenCV를 이용할 수 있다.

한편, 동적 외형 모델 검색 결과 대상 이미지로부터 잘못된 특징점이 추출되는 경우가 발생할 수 있다. 도 8은 대상 이미지로부터 잘못된 특징점이 추출되는 예를 나타낸 도면이다. 도 8의 각 이미지로부터 추출된 특징점들은 대상 이미지에 포함된 얼굴의 형상보다 크게 계산되거나, 일부가 왜곡되거나, 얼굴의 형상보다 작게 계산되는 등 의도한 것과 다르게 얻어진다. 이러한 경우에 특징점 추출부(110)는 대상 이미지로부터 추출된 특징점의 위치를 사용자로부터 입력받은 좌표 정보가 나타내는 지점으로 이동시킴으로써 특징점의 왜곡을 보정할 수 있다.

다음으로 특징점 변형부(120)는 대상 이미지로부터 추출된 특징점들의 분포가 사전에 저장된 참조 이미지들 중에서 선택된 참조 이미지로부터 추출된 특징점들의 분포와 동일하게 되도록 대상 이미지의 특징점들의 분포를 변형하여 과장 이미지를 생성한다.

와핑(warping)이라 함은 영상을 특정 규칙에 따라 변형시키거나 복원시키는 기술로, 이미지의 왜곡을 교정하거나 반대로 대상을 특정 형태로 왜곡시키는 데 사용된다. 본 발명에 따른 카툰 렌더링 장치의 특징점 변형부(120)는 이러한 와핑 기법에 의해 대상 이미지로부터 추출된 특징점들의 분포를 변형하여 대상 이미지를 왜곡시킨다.

특징점 기반의 와핑 기법으로 기존에 제안된 기법은 입력 이미지와 결과 이미지 간의 부드럽게 이어지는 변환을 위하여 한 번의 와핑에 의한 대상의 변형 정도를 제한하며, 이러한 제한된 와핑을 반복적으로 수행하여 최종 결과 이미지를 생성한다. 도 9는 입력 이미지에 대한 와핑에 의해 생성된 결과 이미지를 나타낸 도면이다. 도 9의 (a)의 입력 이미지로부터 (b)와 같이 특징점이 추출되면, (c)에 나타낸 것과 같은 변형 함수를 이용하여 입력 이미지를 변형한다. 그 결과, (d)에 나타낸 것과 같은 결과 이미지를 얻을 수 있다.

변형 함수는 입력 이미지로부터 결과 이미지를 생성하기 위해 사용되는 함수로서, 특징점 변형부(120)는 대상 이미지로부터 추출된 특징점들과 참조 이미지로부터 추출된 특징점들을 이용하여 변형 함수를 생성할 수 있다. 여기서 참조 이미지는 대상 이미지를 변형함에 있어서 변형의 기준이 될 특징을 가진 이미지이다. 대상 이미지로부터 최종적으로 생성하고자 하는 결과 이미지는 카툰 렌더링 기법을 적용한 만화 스타일의 이미지이므로, 참조 이미지로는 만화 스타일의 이미지가 사용된다. 도 10에 참조 이미지로 사용될 수 있는 만화 스타일의 이미지의 예를 나타내었다. 이와 같이 서로 다른 특징을 나타내는 복수의 참조 이미지를 사용함으로써 사용자가 복수의 참조 이미지로부터 표현하고자 하는 특징을 가진 참조 이미지를 선택하는 것만으로 대상 이미지로부터 선택된 참조 이미지의 특징을 가진 결과 이미지를 생성할 수 있다.

특징점 변형부(120)는 대상 이미지를 변형하기 위해 대상 이미지로부터 추출된 특징점 및 참조 이미지로부터 추출된 특징점을 사용한다. 따라서 복수의 참조 이미지로부터 각각 특징점을 추출하여 생성된 복수의 특징 모델(300)이 사전에 저장되어 있는 것이 바람직하다. 또는 사용자가 복수의 참조 이미지 중에서 특정 참조 이미지를 선택하면 특징점 추출부(110)가 선택된 참조 이미지로부터 특징점을 추출하거나, 사용자가 원하는 특징을 표현하는 참조 이미지를 입력하면 특징점 추출부(110)가 입력받은 참조 이미지로부터 특징점을 추출할 수도 있다.

참조 이미지로부터 특징점을 추출하는 방식은 앞에서 설명한 대상 이미지로부터 특징점을 추출하는 방식과 동일한 것이 바람직하다. 구체적으로, 하나의 참조 이미지로부터 추출된 특징점으로 구성된 특징 모델(300)은 총 85개의 특징점으로 구성되어 얼굴 윤곽을 표현하는 17개의 특징점, 두 눈을 표현하는 16개의 특징점, 두 눈썹을 표현하는 20개의 특징점, 입의 외부 윤곽을 표현하는 12개의 특징점, 입의 내부 윤곽을 표현하는 8개의 특징점 및 코의 윤곽을 표현하는 12개의 특징점으로 이루어진다.

도 11은 참조 이미지 및 각각의 참조 이미지에 대응하여 생성된 특징 모델(300)을 나타낸 도면이다. 도 11의 (a)는 만화 스타일의 참조 이미지이고, (b)는 각각의 참조 이미지 상에 앞에서 설명한 AAM에 의해 추출된 특징점들을 표시한 것이다. 대상 이미지로부터 추출된 특징점의 분포와 동일한 분포를 가짐을 확인할 수 있다.

특징점 변형부(120)는 이와 같이 참조 이미지로부터 추출된 특징점으로 구성된 특징 모델(300)을 참조하여 대상 이미지의 특징점들을 변형하기 위한 변형 함수를 결정한다. 다만, 단순히 특징 모델(300)과 대상 이미지로부터 추출된 특징점의 정보만을 이용하는 경우에는 참조 이미지의 크기와 대상 이미지의 크기가 서로 상이한 경우가 있으며, 이미지 내에서 형태 정보를 표현할 대상, 즉 얼굴 형상의 위치도 서로 다를 수 있다는 문제가 있다. 따라서 참조 이미지에 대응하는 특징 모델(300)에 포함된 특징점들의 좌표와 대상 이미지로부터 추출된 특징점들의 좌표를 각각 0~1 사이의 값으로 정규화하는 것이 바람직하다.

또한 대상의 얼굴 윤곽 내에서 이목구비의 위치와 모양만을 단순히 변형시키는 것에 그치게 되는 결과를 방지하기 위해 정규화의 기준점을 두 개로 설정하여 특징점들을 정규화할 수 있다. 그에 따라 대상의 전체적인 윤곽을 조절하는 것이 가능하다.

이하에서는 대상 이미지로부터 추출된 특징점들에 적용할 변형 함수의 생성 과정에 대하여 설명한다.

먼저 대상 이미지의 픽셀들의 움직임을 조정할 조정 격자(control lattice) Φ를 생성한다. 이미지의 경계 부분도 조정 가능하도록 하기 위해 이미지는 너비와 높이가 각각 1≤x≤m-1 및 1≤y≤n-1의 영역 내에 포함되도록 정규화한다. 여기서 m 및 n은 각각 조정 격자의 너비와 높이이다. 조정 격자 Φ의 초기값은 다음의 수학식 5와 같이 설정된다.

여기서, (i,j)는 조정 격자 내의 위치 정보를 나타낸다.

이와 같이 설정된 조정 격자를 따르는 변형 함수 w는 다음의 수학식 6과 같이 정의된다.

여기서,

,

,

, 그리고

이다.

수학식 6의 B_k(s) 및 B_l(t)는 uniform cubic B-spline basis function을 말하는 것으로, 다음의 수학식 7에 의해 정의된다.

여기서, t는 0≤t<1을 만족한다.

수학식 6의 변형 함수의 초기값은 다음의 수학식 8과 같이 나타낼 수 있다.

w⁰(p)가 변형 전의 대상 이미지에서의 특징점의 위치 p를 나타내고, w(p)가 변형 후의 과장 이미지에서의 특징점의 위치 q를 나타낸다면 w⁰(p)=p 및 w(p)=q이고, 두 특징점 간의 차이 Δq는 Δq=w(p)-w⁰(p)=q-p와 같이 나타낼 수 있다. 따라서 수학식 6 및 수학식 8에 의해 특징점 간의 차이 Δq는 다음의 수학식 9와 같이 산출된다.

여기서, w_kl=B_k(s)B_l(t)를 의미하는 것이다.

수학식 9로부터 조정 격자 Δφ_kl을 구하는 방법은 여러 가지가 있으며, 최소 제곱법을 사용하는 경우에는 다음의 수학식 10과 같이 얻어진다.

이와 같이 얻어진 조정 격자의 값을 적용하여 수학식 6을 변형함으로써 대상 이미지의 각 좌표로부터 과장 이미지의 각 좌표를 얻을 수 있다.

한편, 대상 이미지의 특징점을 변형할 좌표, 즉 참조 이미지의 특징점으로 바꾸어 주는 변형 함수를 통해 이미지를 변환할 때, 전방향 사상(forward mapping)을 적용하는 경우에는 오버랩(overlap) 문제와 홀(hole) 문제가 발생한다. 도 12는 변형 함수를 전방향 사상을 적용할 때 나타나는 문제점에 대하여 도시한 도면이다. 이와 같은 문제점을 해결하기 위해서는 역방향 사상(reverse mapping)에 의해 과장 이미지를 생성하는 것이 바람직하다.

즉, 특징점 변형부(120)는 참조 이미지의 특징 모델(300)을 대상 이미지의 특징점으로 변환하는 변형 함수를 생성하고, 이를 역방향 사상의 변형 함수로 사용함으로써 과장 이미지를 생성한다. 도 13은 역방향 사상에 의해 대상 이미지로부터 과장 이미지를 생성하는 일 예를 나타낸 도면이다.

앞에서 설명한 바와 같이 특징점의 변형 과정이 여러 단계에 걸쳐 수행되므로, 각 단계의 변형 함수를 저장해 두었다가 최종 변형 함수가 계산되면 마지막 변형 함수로부터 처음의 변형 함수까지 차례로 적용하여 역방향 사상을 함으로써 과장 이미지를 생성하게 된다. 도 13의 (a) 및 (b)는 각각 대상 이미지 및 대상 이미지로부터 추출된 특징점의 분포, (f) 및 (g)는 각각 참조 이미지 및 참조 이미지로부터 추출된 특징점의 분포를 나타낸 것이며, 도 13의 (c) 내지 (e)는 각 단계의 변형 함수를 차례로 적용하여 얻어진 이미지를 나타낸 것이다.

렌더링부(130)는 과장 이미지의 색상을 단순화하여 추상 이미지를 생성하고, 대상 이미지로부터 추출된 에지로 이루어진 에지 이미지를 추상 이미지와 결합하여 만화 기법으로 표현된 결과 이미지를 생성한다.

특징점 변형부(120)에 의해 대상 이미지에 포함된 얼굴의 윤곽이나 이목구비가 변형되어 과장 이미지가 생성되었으므로, 이를 만화 스타일의 이미지로 표현하는 과정, 즉 카툰 렌더링 과정이 필요하다. 카툰 렌더링 과정에서는 과장 이미지에 포함된 다양한 색상들이 단순화되고, 과장 이미지로부터 추출된 에지가 더해진다.

먼저 렌더링부(130)는 과장 이미지의 색상을 단순화하여 추상 이미지를 생성한다. 이미지의 색상을 단순화하는 방법에는 여러 가지가 있는데, 가우시안(Gaussian) 필터를 적용하여 인접한 픽셀 간의 색상 차이를 줄이는 방법, 미디언(median) 필터를 적용하여 픽셀 값을 일정 커널 내의 중간값으로 치환하는 방법 등의 간단한 모듈이 있으며, 주변의 가장 비슷한 색상으로의 벡터를 생성하여 픽셀들을 이동시키고 같은 영역으로 선택된 픽셀들의 색상을 영역의 평균색으로 치환하는 중심 이동(mean-shift) 방법도 있다.

렌더링부(130)는 과장 이미지로부터 추상 이미지를 생성하기 위해 위 방법들 중 어떠한 방법도 사용할 수 있다. 그런데, 가우시안 필터나 미디언 필터를 사용하는 경우에는 이미지의 중요한 정보인 에지 손상을 발생시킬 수 있으며, 중심 이동 방법을 사용하는 경우에는 다른 방법들에 비해 속도가 느리다는 문제가 있다. 따라서 색상을 이미지의 색상을 단순화하면서도 에지 정보를 보존할 수 있는 양방향(bilateral) 필터를 사용하는 것이 바람직하다.

도 14는 가우시안 필터와 양방향 필터를 적용하여 얻어진 이미지를 나타낸 도면이다. 도 14의 (a)는 원본 이미지이고, (b)는 가우시안 필터를 적용하여 얻어진 이미지, 그리고 (c)는 양방향 필터를 적용하여 얻어진 이미지이다. 도 14의 (b)와 (c)를 비교하여 보면, 가우시안 필터를 적용한 경우에는 두 색상 사이의 에지 정보가 손상되었으나, 양방향 필터를 적용한 경우에는 에지 정보를 보존하면서도 효과적으로 색상을 단순화한 것을 확인할 수 있다.

구체적으로, 양방향 필터는 다음의 수학식 11을 사용하여 이미지의 색상 정보를 단순화한다.

여기서,

는 특정 픽셀의 위치, x는 주변 픽셀의 위치, σ_d는 블러링 커널(blurring kernel), σ_r은 색상 차이에 따른 가중치를 조절하는 파라미터이고, 가중치 w(?)는 다음의 수학식 12와 같이 정의된다.

여기서, m(?)과 u(?)는 시각적 중요도(visual salience)에 의해 계산되는 값이지만, 속도 향상을 위해 0으로 설정할 수 있다.

블러링 커널 σ_d의 값을 큰 값으로 설정하면 좀 더 단순화된 결과를 얻을 수 있지만, 중요한 에지 정보를 손상시킬 위험이 있다. 또한 σ_r은 어느 정도의 색상 차이가 나는 경우에 이를 단순화할 것인지를 결정하는 파라미터로, 작은 값으로 설정되는 경우에는 이미지 내의 대부분의 대비 정보가 보존되며, 큰 값으로 설정되는 경우에는 색상의 단순화 정도가 커지게 된다. σ_r의 값이 무한대로 커지게 되면 w'(?)의 값이 1이 되어 위 수학식 11의 결과는 보통의 가우시안 필터링과 동일하게 된다. 각 파라미터의 값은 실험에 의해 결정되며, 일 실시예로서 σ_d=3, σ_r=15로 설정할 수 있다. 또한 과장 이미지로부터 추상 이미지를 생성할 때 양방향 필터를 15번 반복 적용할 수 있다.

도 15는 양방향 필터를 대상 이미지 및 과장 이미지에 각각 적용한 결과를 나타낸 도면이다. 도 15의 (a) 및 (b)는 각각 대상 이미지 및 양방향 필터가 적용된 대상 이미지, (c) 및 (d)는 각각 과장 이미지 및 양방향 필터가 적용된 과장 이미지, 그리고 (e) 및 (f)는 일반적인 사진에 양방향 필터가 적용된 결과이다. 양방향 필터가 적용되면서 에지로 둘러싸인 영역 내부의 색상이 단순화되고 노이즈가 감소한 것을 확인할 수 있다.

다음으로 렌더링부(130)는 과장 이미지로부터 추출된 에지로 이루어진 에지 이미지를 생성한다. 컴퓨터 그래픽스에서 에지라 함은 이미지 내에서 객체 간의 경계 또는 객체 내에서 객체의 형태가 급변하는 지점을 말한다. 이는 이미지 내의 객체를 인식하는 데 있어서 매우 중요한 정보이다. 만화에 있어서 에지는 더욱 큰 의미를 가지는데, 대부분의 만화 이미지는 경계를 강조하여 굵고 어두운 색의 에지를 표현하기 때문이다. 특히 텍스쳐가 없는 만화 이미지의 경우에는 에지의 형태만으로 대상을 표현하기도 한다.

따라서 렌더링부(130)는 보통의 만화 이미지들처럼 과장 이미지의 경계를 강조하여 표현하기 위해 과장 이미지로부터 에지를 추출하여 에지 이미지를 생성하고, 생성된 에지 이미지를 텍스쳐만 포함하는 추상 이미지와 결합함으로써 만화 스타일의 결과 이미지를 최종적으로 생성한다.

2차원 이미지에서 에지는 픽셀의 값이 급변하는 지점을 나타낸다. 따라서 에지를 추출하기 위한 방법으로 단순히 영상의 픽셀값을 미분하여 에지를 검출하는 그라디언트(gradient) 에지 추출방법, 수평 및 수직 각 방향의 에지를 검출할 수 있는 마스크를 적용하여 에지를 검출하는 소벨(Sobel) 에지 추출방법 및 2차 미분을 이용하는 라플라시안(Laplacian) 에지 추출방법 등 다양한 방법이 사용되고 있다. 렌더링부(130)는 이들 방법 중 어느 하나를 사용하여 과장 이미지로부터 에지를 추출할 수 있다.

일 실시예로서, 렌더링부(130)는 에지 이미지를 생성하기 위해 DoG(Difference of Gaussian) 알고리즘을 사용할 수 있다. 이는 표준편차의 값을 다르게 적용한 두 개의 가우시안 필터의 차이 값에 의해 에지 영역을 검출하는 방법이다. DoG 알고리즘에 의한 에지 추출은 다음의 수학식 13에 의해 이루어진다.

여기서, 표준편차 σ₁ 및 σ₂는 σ₁<σ₂를 만족하여야 하며, 일 실시예로서 σ₁=2, σ₂=3으로 설정될 수 있다.

도 16은 DoG 알고리즘을 이용하여 추출된 에지 이미지를 나타낸 도면이다. 도 16의 (a) 및 (b)는 대상 이미지에 양방향 필터를 적용하고 DoG 알고리즘을 적용하여 얻어진 에지 이미지, (c) 및 (d)는 과장 이미지에 양방향 필터 및 DoG 알고리즘을 적용하여 얻어진 에지 이미지, 그리고 (e) 및 (f)는 일반적인 사진에 양방향 필터를 적용한 후 에지를 추출한 결과를 나타낸 것이다.

렌더링부(130)는 이와 같이 얻어진 에지 이미지를 추상 이미지와 결합하여 결과 이미지를 생성한다. 에지 이미지는 픽셀값이 0과 255로만 이루어져 있으므로, 에지 이미지에서 픽셀값이 0인 픽셀에 대응하는 추상 이미지의 픽셀값을 0으로 교체하면 추상 이미지와 에지 이미지의 결합이 이루어진다.

도 17은 이미지에 에지를 결합한 예를 나타낸 도면이다. 도 17의 (a) 및 (b)는 대상 이미지에 에지를 결합한 결과, (c) 및 (d)는 과장 이미지에 에지를 결합한 결과, 그리고 (e) 및 (f)는 일반적인 사진에 대하여 추출된 에지를 결합한 결과를 나타낸 것이다. 텍스쳐만 포함하는 이미지에 비해 에지가 결합되면서 만화의 느낌을 더욱 강하게 표현할 수 있다.

한편, 렌더링부(130)는 생성된 결과 이미지에 만화와 같은 느낌을 더하기 위해 이미지의 명도를 양자화(quantization)하는 과정을 추가적으로 수행할 수 있다. 즉, 에지 이미지를 결합하기 전에 추상 이미지의 명도를 양자화한 후 에지 이미지를 결합하여 결과 이미지를 생성하는 것이다. 이는 3차원 기반의 카툰 렌더링에서 대상을 만화와 같은 이미지로 표현하기 위해 사용한 셀 쉐이딩(cell shading)과 같은 효과를 가져오므로 결과 이미지가 더욱 만화에 가깝게 표현될 수 있다.

여기서 셀 쉐이딩이란 3차원 객체를 화면에 그릴 때 객체의 위치와 조명 사이의 관계에 의해 해당 객체를 표현하는 폴리곤의 색상이 정해지는데, 이때 객체의 색상에 대하여 조명과의 관계에 따라 결정되는 명암을 특정 개수의 단계로 제한하여 표현하는 기법을 말한다. 도 18은 3차원 객체를 셀 쉐이딩 기법에 의해 표현한 예를 나타낸 도면으로, 좌측의 객체는 일반적인 쉐이딩 기법에 의해 표현된 것에 비해 우측의 기법은 셀 쉐이딩 기법을 사용함으로써 객체의 밝은 부분과 어두운 부분의 경계가 뚜렷하게 표현되는 것을 확인할 수 있다.

2차원 이미지에서 명도를 양자화하기 위해서는 먼저 RGB 영역에서 정의되는 색상 정보를 Lab 영역으로 변환하여야 한다. RGB 색상 모델을 Lab 색상 모델로 변환하기 위해서는 중간 단계인 XYZ 색상 모델을 거치게 되는데, RGB 색상 모델과 XYZ 색상 모델, 그리고 XYZ 색상 모델과 Lab 색상 모델 사이의 변환은 각각 다음의 수학식 14 내지 수학식 17에 의해 수행된다.

여기서,

이고, Xn, Yn 및 Zn은 기준 흰색의 자극치(tristimulus value)이다.

여기서, P=(L+16)/116이고, Xn, Yn 및 Zn은 기준 흰색의 자극치(tristimulus value)이다.

위 수학식 14 내지 수학식 17에 의해 Lab 색상 모델로 표현된 추상 이미지가 얻어지면, 명도를 나타내는 L 채널에 대하여만 양자화를 적용한다. 구체적으로, 명도 영역을 n개의 단계로 나누고, 명도 L을 양자화된 명도 L'로 변형하는 테이블을 생성하여 양자화를 적용하였다. 도 19는 명도 양자화를 위해 생성된 테이블의 일 예를 도시한 도면이다. 각 단계의 경계는 변형된 사인(sin) 함수를 이용하여 결정하였다.

Lab 색상 모델로 표현된 추상 이미지의 명도 양자화 과정이 완료되면, 추상 이미지를 다시 RGB 색상 모델로 변형하고 에지 이미지를 결합하여 결과 이미지를 생성한다. 도 20은 양자화된 이미지에 에지를 결합하여 결과 이미지를 생성하는 예를 나타낸 도면이다. 도 20의 (a) 내지 (d)는 대상 이미지의 L 채널에 양자화를 적용하고 에지를 결합한 결과를 나타낸 것이고, (e) 내지 (h)는 변형된 대상 이미지인 과장 이미지의 L 채널에 양자화를 적용하고 에지를 결합한 결과이며, (i) 및 (j)는 일반적인 사진에 대해 동일한 과정을 수행한 결과를 나타낸 것이다. 도 17의 결과와 비교하여 보았을 때 명도 양자화를 수행한 경우에 결과 이미지가 더욱 만화적인 느낌을 잘 나타내는 것을 알 수 있다.

도 21은 본 발명에 따른 참조 이미지를 이용한 카툰 렌더링 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 21을 참조하면, 특징점 추출부(110)는 입력받은 대상 이미지로부터 특징점을 추출한다(S1010). 이때 동적 외형 모델(AAM)을 사용할 수 있으며, 복수의 트레이닝 이미지로부터 추출된 특징점들이 모델 데이터(200)로 저장되어 사용될 수 있다. 다음으로 특징점 변형부(120)는 추출된 특징점들의 분포가 사전에 저장된 참조 이미지들 중에서 선택된 참조 이미지로부터 추출된 특징점들의 분포와 동일하게 되도록 대상 이미지의 특징점들의 분포를 변형하여 과장 이미지를 생성한다(S1020).

렌더링부(130)는 과장 이미지에 양방향 필터를 적용함으로써 과장 이미지의 색상을 단순화하여 추상 이미지를 생성하고, 결과 이미지에서 만화의 느낌이 더욱 효과적으로 표현될 수 있도록 추상 이미지의 명도를 양자화한다(S1030). 또한 렌더링부(130)는 과장 이미지로부터 추출된 에지로 이루어진 에지 이미지를 생성하고(S1040), 추상 이미지와 에지 이미지를 결합하여 만화 기법으로 표현된 결과 이미지를 생성한다(S1050).

본 발명의 성능을 평가하기 위한 실험을 수행하였다. 본 발명에 따른 카툰 렌더링 장치 및 방법은 Windows XP SP3 OS를 사용하여 구현되었으며, Microsoft사의 Visual studio 2005 프로그램을 이용하여 MFC 기반으로 구현하였다. 또한 입력된 2차원 이미지를 처리하기 위해 OpenCV 라이브러리를 사용하였다. 컴퓨터의 시스템 사양은 Intel Core2Duo 6600 CPU(2.4GHz)에 2GB RAM이다.

대상 이미지로부터 결과 이미지를 생성하는 데 걸리는 시간은 640×480 크기의 대상 이미지를 기준으로 하였을 때 과장 이미지를 생성하는 데까지 사용자에 의한 조작 시간을 제외하고 약 5초가 소요되었으며, 그로부터 결과 이미지를 생성하는 데까지 약 2초 미만의 시간이 소요되었다. 다만 과장 이미지를 생성하는 과정에서 사용자의 조작이 개입되는 경우가 있으며, 와핑을 적용할 때 경우에 따라 더 오랜 시간이 걸릴 수 있기 때문에 소요시간은 변동될 수 있다.

도 22는 선택된 참조 이미지에 따라 동일한 대상 이미지로부터 서로 다른 과장 이미지가 얻어지는 예를 나타낸 도면이다. 도 22의 (a)가 대상 이미지이며, (b) 및 (c)는 각각 서로 다른 참조 이미지를 기초로 대상 이미지가 변형되는 과정을 나타낸 것이다. 이와 같이 참조 이미지에 따라 대상 이미지가 전혀 다르게 변형되므로 사용자가 참조 이미지를 선택하기만 하면 동일한 대상 이미지로부터 전혀 다른 특성을 나타내는 결과 이미지가 얻어질 수 있다.

도 23은 도 22에 나타난 과장 이미지로부터 생성된 결과 이미지를 나타낸 도면이다. 결과 이미지의 생성 과정에서 사용되는 파라미터의 값은 앞에서 예로 들었던 값으로 설정되었다. 도 23의 (a) 및 (b)는 도 22의 (b)에 나타난 과장 이미지로부터 생성된 결과 이미지를 나타낸 것으로, 동일한 참조 이미지를 사용하였으나 서로 다른 느낌의 결과 이미지가 생성되었다. 또한 도 23의 (c) 및 (d)는 도 22의 (c)에 나타난 과장 이미지로부터 생성된 결과 이미지를 나타낸 것으로, 역시 변형의 정도에 따라 결과 이미지의 느낌이 달라지는 것을 알 수 있다.

도 24는 서로 다른 대상 이미지로부터 생성된 결과 이미지를 나타낸 도면이다. 도 24의 (a) 및 (b)는 각각 동일한 참조 이미지를 사용하였을 때 대상 이미지가 달라짐에 따라 어떠한 결과 이미지가 얻어지는지를 보여주고 있으며, 동일한 대상 이미지 및 참조 이미지를 사용한 경우에도 변형의 정도에 따라 결과 이미지의 느낌이 크게 달라지는 것을 확인할 수 있다.

또한 도 25는 정규화 기준점의 위치에 따라 얻어지는 결과 이미지를 나타낸 도면이다. 도 25의 (a) 및 (e)는 각각 대상 이미지 및 참조 이미지이고, (b)는 정규화 기준점을 조정하여 대상 이미지에 포함된 대상의 형상이 홀쭉하게 변형되도록 한 예, (c)는 대상의 본래 크기에서 이목구비의 상대적인 위치만 조정되도록 변형한 예, 그리고 (d)는 대상의 형상이 뚱뚱하게 변형되도록 한 예이다. 이와 같이 정규화 기준점을 조정하면 변형의 정도가 동일하여도 전혀 다른 느낌의 결과 이미지를 얻을 수 있다.

대상 이미지로부터 얻어진 과장 이미지의 일부에 텍스쳐를 삽입할 수도 있다. 이는 대상 이미지의 변형에 의하여 대상의 특정 부분이 늘어나게 되는 문제를 방지하면서 만화적 효과를 더욱 강조할 수 있다. 도 26은 결과 이미지에 텍스쳐를 삽입한 예를 나타낸 도면이다. 도 26의 (a)는 대상 이미지, (d)는 참조 이미지이며, (b)는 참조 이미지를 사용하여 대상 이미지를 변형한 후 얻어진 결과 이미지이다. 대상 이미지의 변형에 의해 대상의 입술 부분이 두터워지는 현상이 발생하였는데, 이 부분에 텍스쳐를 삽입함으로써 (c)와 같이 다른 느낌의 결과 이미지를 생성할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100 - 카툰 렌더링 장치
110 - 특징점 추출부
120 - 특징점 변형부
130 - 렌더링부
200 - 모델 데이터
300 - 특징 모델

Claims (13)

1. 입력받은 대상 이미지로부터 특징점을 추출하는 특징점 추출부;
   상기 추출된 특징점들의 분포가 사전에 저장된 복수의 참조 이미지 중에서 선택된 참조 이미지로부터 추출된 특징점들의 분포와 동일하게 되도록 상기 대상 이미지의 특징점들의 분포를 변형하여 과장 이미지를 생성하는 특징점 변형부; 및
   상기 과장 이미지에서 색상값의 차가 사전에 설정된 기준값 이하인 인접한 픽셀의 색상을 일치시켜 생성된 추상 이미지의 명도를 사전에 설정된 개수의 단계로 표현하는 양자화 과정을 수행하고, 상기 대상 이미지로부터 추출된 에지로 이루어진 에지 이미지를 명도가 양자화된 상기 추상 이미지와 결합하여 만화 기법으로 표현된 결과 이미지를 생성하는 렌더링부;를 포함하는 것을 특징으로 하는 카툰 렌더링 장치.
2. 삭제
3. 제 1항에 있어서,
   상기 특징점 추출부는 사전에 저장된 복수의 트레이닝 이미지로부터 추출된 특징점을 기초로 동적 외형 모델을 적용하여 상기 대상 이미지로부터 특징점을 추출하는 것을 특징으로 하는 카툰 렌더링 장치.
4. 제 1항에 있어서,
   상기 특징점 변형부는 상기 대상 이미지로부터 추출된 각각의 특징점의 좌표를 상기 참조 이미지로부터 추출된 각각의 특징점의 좌표로 변환하기 위한 변형 함수를 산출하여 상기 대상 이미지에 적용함으로써 상기 과장 이미지를 생성하는 것을 특징으로 하는 카툰 렌더링 장치.
5. 제 1항에 있어서,
   상기 렌더링부는 상기 과장 이미지에 양방향 필터를 복수 회 적용하여 상기 추상 이미지를 생성하는 것을 특징으로 하는 카툰 렌더링 장치.
6. 제 1항에 있어서,
   상기 렌더링부는 상기 과장 이미지에 DoG(Difference of Gaussian) 알고리즘을 적용하여 상기 에지 이미지를 생성하는 것을 특징으로 하는 카툰 렌더링 장치.
7. 입력받은 대상 이미지로부터 특징점을 추출하는 특징점 추출단계;
   상기 추출된 특징점들의 분포가 사전에 저장된 복수의 참조 이미지 중에서 선택된 참조 이미지로부터 추출된 특징점들의 분포와 동일하게 되도록 상기 대상 이미지의 특징점들의 분포를 변형하여 과장 이미지를 생성하는 특징점 변형단계; 및
   상기 과장 이미지에서 색상값의 차가 사전에 설정된 기준값 이하인 인접한 픽셀의 색상을 일치시켜 생성된 추상 이미지의 명도를 사전에 설정된 개수의 단계로 표현하는 양자화 과정을 수행하고, 상기 대상 이미지로부터 추출된 에지로 이루어진 에지 이미지를 명도가 양자화된 상기 추상 이미지와 결합하여 만화 기법으로 표현된 결과 이미지를 생성하는 렌더링단계;를 포함하는 것을 특징으로 하는 카툰 렌더링 방법.
8. 삭제
9. 제 7항에 있어서,
   상기 특징점 추출단계에서, 사전에 저장된 복수의 트레이닝 이미지로부터 추출된 특징점을 기초로 동적 외형 모델을 적용하여 상기 대상 이미지로부터 특징점을 추출하는 것을 특징으로 하는 카툰 렌더링 방법.
10. 제 7항에 있어서,
    상기 특징점 변형단계에서, 상기 대상 이미지로부터 추출된 각각의 특징점의 좌표를 상기 참조 이미지로부터 추출된 각각의 특징점의 좌표로 변환하기 위한 변형 함수를 산출하여 상기 대상 이미지에 적용함으로써 상기 과장 이미지를 생성하는 것을 특징으로 하는 카툰 렌더링 방법.
11. 제 7항에 있어서,
    상기 렌더링단계에서, 상기 과장 이미지에 양방향 필터를 복수 회 적용하여 상기 추상 이미지를 생성하는 것을 특징으로 하는 카툰 렌더링 방법.
12. 제 7항에 있어서,
    상기 렌더링단계에서, 상기 과장 이미지에 DoG(Difference of Gaussian) 알고리즘을 적용하여 상기 에지 이미지를 생성하는 것을 특징으로 하는 카툰 렌더링 방법.
13. 제 7항에 기재된 카툰 렌더링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images