KR20090103128A

KR20090103128A - 합성이미지 제공시스템 및 방법

Info

Publication number: KR20090103128A
Application number: KR1020080028523A
Authority: KR
Inventors: 이진근
Original assignee: 주식회사 제스틴
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2009-10-01
Also published as: KR100935482B1

Abstract

본 발명은 네트워크를 통해 사용자 단말기와 유무선으로 연결되어 사용자에게 얼굴이미지와 배경이미지를 합성한 합성이미지를 제공하는 합성이미지 제공시스템에 관한 것으로, 사용자 단말기로부터 얼굴이미지를 수신하는 얼굴이미지 수신부, 수신된 얼굴이미지로부터 3D 얼굴을 생성하는 3D 얼굴 생성부, 포즈데이터 추출부로부터 받은 포즈데이터를 이용하여 3D 얼굴로부터 포즈가 변환된 3D 얼굴을 생성하는 얼굴포즈 변환부, 크기 및 위치데이터 추출부로부터 받은 크기 및 위치데이터를 이용하여 3D 얼굴로부터 얼굴크기 및 위치가 변환된 3D 얼굴을 생성하는 얼굴크기 및 위치 변환부, 3D 얼굴로부터 2D 얼굴을 생성하는 2D 얼굴 생성부를 포함하는 얼굴이미지 변환서버와, 사용자가 선택한 배경이미지에 대한 전화번호를 사용자에게 전송하는 배경이미지 선택부, 배경이미지에서 얼굴의 포즈데이터를 추출하는 포즈데이터 추출부, 배경이미지에서 얼굴영역의 크기 및 위치데이터를 추출하는 크기 및 위치데이터 추출부, 2D 얼굴 생성부로부터 얼굴이미지를 전달받아 배경이미지와 합성하는 이미지 합성부를 포함하는 이미지 합성서버를 구비한다.

Description

합성이미지 제공시스템 및 방법{System and method for providing synthetic images}

본 발명은 이미지를 합성하는 방법에 관한 것으로, 특히 배경이미지에 사람의 얼굴이미지를 합성하여 인터넷이나 모바일을 통해 서비스를 제공할 수 있는 시스템 및 방법에 대한 것이다.

최근 디지털 카메라가 널리 보급되면서, 배경이미지에 사람의 얼굴이미지를 합성하거나 개별적으로 촬영한 여러 사람의 얼굴이미지를 함께 촬영한 것처럼 합성하는 기술이 널리 보편화되었다. 특히, 요즘 거의 모든 핸드폰에 디지털 카메라가 장착되고 있기 때문에, 핸드폰 카메라로 촬영한 얼굴사진과 특수한 아이콘을 합성하거나 또는 특수한 배경이미지와 합성할 수 있는 기본적인 기능이 이미 핸드폰에 의해 제공되고 있다.

하지만, 이러한 이미지 합성 기술 및 서비스는 배경이미지와 얼굴이미지 각각을 단순히 위치조정만을 이용해 합성하기 때문에 현실감이 떨어지는 문제점이 있었다. 특히, 2차원적인 얼굴이미지를 배경이미지에 합성하고자 하는 경우, 배경이미지의 방향과 일치하지 않거나 배경에 이미 포함된 다른 사람들의 얼굴 방향과 일치하지 않아 결과적으로 어색한 합성이미지가 만들어졌다.

아울러, 얼굴이미지를 배경이미지에 합성할 때 단순히 이미지의 크기나 위치만을 조정하게 되면, 배경이미지의 조명방법과 얼굴이미지의 조명방법이 달라 합성이미지의 현실감이 떨어지는 단점이 있었다.

그리고 이러한 이미지 합성은 특수 소프트웨어를 이용하여 사용자가 직접 작업해야 하기 때문에, 이미지 합성 기술을 습득하지 못한 일반인은 현실감 있는 합성이미지를 만들기 어려웠다.

본 발명은 상기한 점을 감안하여 발명된 것으로, 배경이미지에 얼굴이미지를 합성할 때 얼굴이미지의 포즈, 크기 및 위치, 조명을 고려하여 현실감 있는 합성이미지를 생성하고, 이를 핸드폰 사용자에게 자동으로 제공할 수 있는 시스템과 방법을 제공함에 그 목적이 있다.

본 발명의 일측면에 의한 합성이미지 제공시스템은, 네트워크를 통해 사용자 단말기와 유무선으로 연결되어 사용자에게 얼굴이미지와 배경이미지를 합성한 합성이미지를 제공하는 합성이미지 제공시스템에 있어서, 사용자 단말기로부터 얼굴이미지를 수신하는 얼굴이미지 수신부, 수신된 얼굴이미지로부터 3D 얼굴을 생성하는 3D 얼굴 생성부, 포즈데이터 추출부로부터 받은 포즈데이터를 이용하여 3D 얼굴로부터 포즈가 변환된 3D 얼굴을 생성하는 얼굴포즈 변환부, 크기 및 위치데이터 추출부로부터 받은 크기 및 위치데이터를 이용하여 3D 얼굴로부터 얼굴크기 및 위치가 변환된 3D 얼굴을 생성하는 얼굴크기 및 위치 변환부, 3D 얼굴로부터 2D 얼굴을 생성하는 2D 얼굴 생성부를 포함하는 얼굴이미지 변환서버 및, 사용자가 선택한 배경이미지에 대한 전화번호를 사용자에게 전송하는 배경이미지 선택부, 배경이미지에서 얼굴의 포즈데이터를 추출하는 포즈데이터 추출부, 배경이미지에서 얼굴영역의 크기 및 위치데이터를 추출하는 크기 및 위치데이터 추출부, 2D 얼굴 생성부로부터 얼굴이미지를 전달받아 배경이미지와 합성하는 이미지 합성부를 포함하는 이미지 합성서버를 구비한다.

이때, 배경이미지는 3D 좌표계를 이용하여 템플릿(Template)으로 만들어져 합성이미지 제공시스템에 저장되어 있는 것이 바람직하다.

그리고, 포즈데이터 추출부는 배경이미지 템플릿에서 사용자의 얼굴이미지가 합성될 영역으로부터 기본 모델 얼굴의 특징점을 추출하고, x,y,z 축을 기준으로 하여 특징점의 회전값을 추출하며, 얼굴포즈 변환부는 회전값을 이용하여 포즈가 변환된 3D 얼굴을 생성하는 것이 바람직하다.

합성이미지 제공시스템에서, 이미지 합성서버는 배경이미지에서 조명 정보를 추출하는 조명정보 추출부를 더 포함하고, 얼굴이미지 변환서버는 조명정보 추출부로부터 받은 조명정보를 3D 얼굴에 적용하여 배경이미지의 조명과 어울리는 3D 얼굴을 생성하는 조명정보 적용부를 더 포함하는 것이 바람직하다. 이때, 배경이미지에는 조명의 위치, 종류, 색상에 대한 데이터가 저장되어 있고, 조명정보 추출부는 이러한 조명의 위치, 종류, 색상에 대한 데이터를 추출한다. 조명의 종류는 'Spotlight', 'Directional Light' 또는 'Point Light'이 될 수 있다.

본 발명의 다른 측면에 의한 합성이미지 제공방법은, 네트워크를 통해 사용자 단말기와 유무선으로 연결되어 사용자에게 얼굴이미지와 배경이미지를 합성한 합성이미지를 제공하는 합성이미지 제공시스템에서 수행되는 합성이미지 제공방법에 있어서, (a) 사용자 단말기가 합성이미지 제공시스템에 접속하여 배경이미지를 선택하는 단계, (b) 사용자 단말기가 선택된 배경이미지에 대한 전화번호를 수신하는 단계, (c) 사용자 단말기가 수신된 전화번호를 이용하여 얼굴이미지를 합성이미지 제공시스템에 전송하는 단계, (d) 합성이미지 제공시스템이 수신된 얼굴이미지로부터 3D 얼굴이미지를 생성하는 단계, (e) 합성이미지 제공시스템이 배경이미지의 포즈데이터를 이용하여 3D 얼굴의 포즈를 변환하는 단계, (f) 합성이미지 제공시스템이 배경이미지의 크기 및 위치데이터를 이용하여 3D 얼굴의 크기 및 위치를 변환하는 단계, (g) 합성이미지 제공시스템이 3D 얼굴로부터 2D 얼굴이미지를 생성하는 단계, (h) 합성이미지 제공시스템이 2D 얼굴이미지와 배경이미지를 합성하는 단계 및, (i) 합성이미지 제공시스템이 사용자 단말기에게 합성이미지를 전송하는 단계를 포함한다.

이때, (a) 단계에서 배경이미지는 3D 좌표계를 이용하여 템플릿(Template)으로 만들어져 합성이미지 제공시스템에 저장되어 있는 것이 바람직하다.

그리고, (d) 단계는, (d1) 수신된 얼굴이미지에서 얼굴 영역을 검출하는 단계, (d2) 검출된 얼굴 영역 내에서 얼굴의 각 특징점을 추출하는 단계, (d3) 3D 얼굴 모형에서 사용자의 얼굴 특징점이 반영된 사용자 3D 얼굴 모형을 생성하는 단계 및, (d4) 상기 (d1) 단계에서 검출된 사용자 얼굴 영역의 텍스처(Texture)를 사용자 3D 얼굴 모형에 매핑하는 단계를 포함할 수 있다.

또한, (e) 단계는, 배경이미지 템플릿에서 사용자의 얼굴이미지가 합성될 영역으로부터 기본 모델 얼굴의 특징점을 추출하고, x,y,z 축을 기준으로 하여 특징점의 회전값을 추출함으로써 3D 얼굴의 포즈를 변환하는 것이 바람직하다.

합성이미지 제공방법에 있어서, (f) 단계 후에, 합성이미지 제공시스템이 배경이미지의 조명정보가 적용된 3D 얼굴을 생성하는 단계를 더 포함하는 것이 바람직하고, 배경이미지에 저장된 조명의 위치, 종류, 색상에 대한 데이터를 추출하여 이를 3D 얼굴에 적용한다. 조명의 종류는 'Spotlight', 'Directional Light' 또는 'Point Light'일 수 있다.

상기한 바와 같이 본 발명에 의하면, 얼굴이미지를 배경이미지에 합성할 때 단순히 얼굴이미지의 크기나 위치만을 조정하는 것이 아니라, 포즈와 조명방법을 배경이미지와 통일시켜 현실감 있는 합성이미지를 생성할 수 있는 효과가 있다.

아울러, 핸드폰 사용자가 손쉽게 자신의 얼굴이미지를 이용하여 합성이미지를 제공받을 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 의한 합성이미지 제공시스템을 설명하기 위한 블록도,

도 2는 본 발명의 바람직한 실시예에 의한 합성이미지 제공방법을 설명하기 위한 흐름도,

도 3a는 배경이미지로 만들어지기 전의 이미지 원본을 나타내고, 도 3b는 사용자 얼굴이 들어갈 영역이 빈 공간으로 표시된 배경이미지를 나타내며,

도 4는 2D 얼굴이미지로부터 3D 얼굴이미지를 생성하는 방법을 설명하는 예시도,

도 5는 배경이미지 템플릿에서 사용자의 얼굴이미지가 합성될 영역으로부터 기본 모델 얼굴의 특징점을 추출하는 것을 설명하는 예시도,

도 6a는 정면일 때의 3D 얼굴 모형의 특징점 위치를 나타내는 도면, 도 6b는 배경이미지 템플릿에서 요구하는 3D 얼굴 모형의 특징점 위치를 나타내는 도면,

도 7은 x축을 기준으로 하여 3D 얼굴 모형의 회전값을 추출하는 것을 설명하는 예시도,

도 8은 y축을 기준으로 하여 3D 얼굴 모형의 회전값을 추출하는 것을 설명하는 예시도,

도 9는 z축을 기준으로 하여 3D 얼굴 모형의 회전값을 추출하는 것을 설명하는 예시도,

도 10은 크기 및 위치데이터 추출부가 배경이미지 템플릿에서 요구하는 얼굴 크기 데이터를 추출하는 것을 설명하는 예시도,

도 11은 3D 얼굴 모형의 크기 설정을 설명하는 예시도,

도 12는 크기 및 위치데이터 추출부가 배경이미지 템플릿에서 위치데이터를 추출하는 것을 설명하는 예시도,

도 13은 3D 얼굴 좌표계에서 조명의 위치와 방향을 설명하는 도면,

도 14는 3D 얼굴 모형에 부여할 수 있는 조명의 RGB 색상표를 설명하는 예시도,

도 15는 임의의 조명 위치에서 조명의 종류 및 색상이 반영된 3D 얼굴 모형을 나타낸 예시도,

도 16은 2D 얼굴 이미지와 배경이미지를 합성하는 것을 설명하는 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명하기로 한다. 그러나, 이하의 실시예는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.

도 1은 본 발명의 바람직한 실시예에 의한 합성이미지 제공시스템을 설명하기 위한 블록도이고, 도 2는 본 발명의 바람직한 실시예에 의한 합성이미지 제공방법을 설명하기 위한 흐름도이다.

먼저, 도 1을 참조하면 본 발명의 바람직한 실시예에 의한 합성이미지 제공시스템(110)은 네트워크를 통해 사용자 단말기(100)와 유무선으로 연결되며, 사용자 단말기(100)로는 휴대폰, 컴퓨터 등 유무선 통신이 가능한 단말기이면 특정한 것에 한정되지 않는다.

도 1에 도시된 바와 같이 본 발명의 바람직한 실시예에 의한 합성이미지 제공시스템(110)은 사용자로부터 얼굴이미지를 수신하여 배경이미지에 합성하기에 적합하도록 변환하는 얼굴이미지 변환서버(120)와, 사용자로부터 선택된 배경이미지와 변환된 얼굴이미지를 합성하는 이미지 합성서버(130)를 구비한다. 얼굴이미지 변환서버(120)는 얼굴이미지 수신부(121), 3D 얼굴 생성부(122), 얼굴포즈 변환부(123), 얼굴크기 및 위치변환부(124), 조명정보 적용부(125) 및 2D 얼굴 생성부(126)를 포함하고, 이미지 합성서버(130)는 배경이미지 선택부(131), 포즈데이터 추출부(132), 크기 및 위치데이터 추출부(133), 조명정보 추출부(134) 및 이미지 합성부(135)를 포함한다.

도 2에는 도 1에 도시된 합성이미지 제공시스템(110)에서 수행되는 합성이미지 제공방법의 흐름이 도시되어 있다. 이하, 합성이미지 제공시스템(110)에서 수행되는 합성이미지 제공방법에 대해 상세히 설명한다.

먼저, 사용자가 자신의 얼굴이미지를 합성하기 위한 배경이미지를 선택한다(제200단계). 배경이미지는 미리 만들어져 합성이미지 제공시스템(110)에 저장되어 있고, 사용자는 유선 인터넷 또는 무선 인터넷을 통해 여러개의 배경이미지 중에서 원하는 것을 선택할 수 있다.

배경이미지는 사용자의 얼굴이미지와 매칭되어 합성될 수 있도록 얼굴이미지가 합성되는 영역의 크기정보, 위치정보, 포즈정보, 조명정보를 저장하고 있다. 사용자가 선택한 배경이미지에 대한 정보는 이미지 합성서버(130)의 배경이미지 선택부(131)에 기록된다.

배경이미지는 예를 들어 3D 좌표계를 이용하여 템플릿(Template)으로 만들어질 수 있다. 3D 좌표계는 x, y, z축으로 구성되어 있으며, x와 y축은 배경이미지의 실제 크기를 나타낸다. 즉, 합성할 배경이미지 템플릿의 크기가 320*240인 경우, 배경 이미지의 좌표는 x(L) = 320, y(H) = 240, z = 0이 된다. 따라서, 합성될 사용자의 3D 얼굴 모형은 320*240*0 좌표 내에 위치하게 된다. 여기서, 3D 얼굴 모형의 z좌표는 3D 얼굴 모형의 중심축이 된다. 3D 얼굴 모형의 위치는 x와 y값만 변화되어 배경이미지 템플릿의 특정 위치에 배치된다. 예를 들어, 도 3a는 배경이미지로 만들어지기 전의 이미지 원본을 나타내고, 도 3b는 사용자 얼굴이 들어갈 영역이 빈 공간으로 표시된 배경이미지를 나타낸다.

사용자가 배경이미지를 선택하면, 이미지 합성서버(130)의 배경이미지 선택부(131)는 선택된 배경이미지에 대한 전화번호, 예를 들어 SMS(short message service) 번호나 MMS(Multimedia Message Service)를 사용자에게 전송한다(제201단계). 합성이미지 제공시스템(110)에 저장된 모든 배경이미지에는 개별적인 전화번호가 부여되어 있기 때문에, 사용자는 선택한 배경이미지에 해당하는 전화번호를 전달받게 된다.

다음으로, 사용자는 수신한 전화번호를 이용하여 얼굴이미지를 합성이미지 제공시스템(110)으로 전송한다(제202단계). 얼굴이미지는 사용자가 핸드폰 카메라로 촬영한 사진일 수 있으며, SMS 서비스나 MMS 서비스 방식을 이용할 수 있다. 합성이미지 제공시스템(110)의 얼굴이미지 수신부(121)는 사용자로부터 수신된 얼굴이미지를 저장한다. 따라서, 얼굴이미지 수신부(121)에 얼굴이미지가 등록되어 있을 경우, 사용자는 얼굴이미지를 매번 MMS로 첨부하는 번거로움 없이, 합성하려는 배경이미지의 고유번호만 SMS로 전송하여 회원이 원하는 합성이미지를 제공받을 수 있다.

이러한 모바일 메시징 서비스를 이용하여 합성이미지를 요청받고, 사용자가 원하는 합성이미지를 생성시키는 방법은, 사용자들이 합성이미지를 생성시킬 때, 모바일 또는 유선 인터넷의 서비스에 접속할 필요 없이, 합성이미지의 고유 MMS 번호만 알면 언제 어디서든 합성이미지를 제공받을 수 있는 장점이 있다. 특히, 모바일 인터넷의 접속 비용의 부담을 느끼는 사용자에게 저렴한 비용으로 서비스를 제공할 수 있다

이어서, 얼굴이미지 변환서버(120)의 3D 얼굴 생성부(122)는 수신된 2D 얼굴이미지로부터 3D 얼굴이미지를 생성한다(제203단계). 3D 얼굴이미지를 생성하는 구체적인 방법은 도 4를 참조하여 설명한다.

도 4에 도시된 바와 같이, 수신된 2D 얼굴이미지에서 얼굴 영역을 검출한다. 검출된 얼굴 영역의 텍스처(Texture)는 3D 얼굴 모델링에 매핑할 때 사용된다. 그리고, 검출된 얼굴 영역 내에서 얼굴의 각 특징점(눈썹, 눈, 코, 입술, 얼굴형 등)을 추출한다. 이어서, 기존의 3D 얼굴 모형에서 사용자의 얼굴 특징점이 반영된 사용자 3D 얼굴 모형을 생성한다. 그리고, 사용자의 얼굴 텍스처를 사용자 3D 얼굴 모형에 매핑한다. 따라서 사용자가 입력한 얼굴 사진의 텍스처를 사용하기 때문에 현실감 있는 3D 얼굴을 생성할 수 있다.

사용자의 3D 얼굴을 생성한 후에, 배경이미지의 포즈데이터를 이용하여 얼굴의 포즈를 변환한다(제204단계). 즉, 이미지 합성서버(130)의 포즈데이터 추출부(132)는 배경이미지에서 포즈데이터를 추출하여 이를 얼굴포즈 변환부(123)로 전달하고, 얼굴포즈 변환부(123)는 이러한 포즈데이터를 이용하여 3D 얼굴로부터 포즈가 변환된 3D 얼굴을 생성한다.

구체적으로, 얼굴포즈 변환부(123)는 사용자의 3D 얼굴이미지가 배경이미지 템플릿에 자연스럽게 매칭될 수 있도록 3D 얼굴의 포즈를 변환시키는데, 3D 얼굴 모형의 회전값을 이용한다. 3D 얼굴 모형의 회전값은 원본 배경이미지로부터 다음과 같이 추출할 수 있다.

도 5에 도시된 바와 같이, 배경이미지 템플릿에서 사용자의 얼굴이미지가 합성될 영역으로부터 기본 모델 얼굴의 특징점을 추출한다. 얼굴의 회전값을 알기 위해서는 예를 들어 총 9개(왼쪽눈, 오른쪽눈, 미간 중심점, 코 끝점, 왼쪽 볼 중심점, 오른쪽 볼 중심점, 왼쪽 턱 끝점, 오른쪽 턱 끝점, 턱 중심점)의 특징점이 필요하며, 얼굴 분석 기술은 AAM(Active Appearance Model) 기술 등으로 자동 추출될 수 있다.

이렇게 추출된 기본 모델의 얼굴 특징점은 해당 모델 얼굴의 정면 3D 얼굴 모형과 비교되어, 각 특징점이 어떻게 이동하였는지를 산출할 수 있다. 도 6a는 정면일 때의 3D 얼굴 모형의 특징점 위치를 나타내는 것이고, 도 6b는 배경이미지 템플릿에서 요구하는 3D 얼굴 모형의 특징점 위치를 나타내는 것이다. 즉, 도 6a의 왼쪽눈(E1), 오른쪽눈(E2), 미간 중심점(M0), 코 끝점(N0), 왼쪽 볼 중심점(C1), 오른쪽 볼 중심점(C2), 왼쪽 턱 끝점(S1), 오른쪽 턱 끝점(S2), 턱 중심점(S0)과, 도 6b의 왼쪽눈(E1), 오른쪽눈(E2), 미간 중심점(M0), 코 끝점(N0), 왼쪽 볼 중심점(C1), 오른쪽 볼 중심점(C2), 왼쪽 턱 끝점(S1), 오른쪽 턱 끝점(S2), 턱 중심점(S0)을 상호 비교함으로써 회전값을 추출한다.

3D 얼굴 모형의 회전값은 x,y,z 축을 기준으로 하여 추출할 수 있다. 도 7은 x축을 기준으로 하여 고개가 옆으로 기울어진 정도를 측정하는 것을 나타낸다. 기본 3D 얼굴 모형의 미간 특징점(M0)를 기준으로 왼쪽눈(E1)과 오른쪽눈(E2)을 이용하여 3D 얼굴 모형이 x축을 기준으로 회전된 각도 즉, ∠ Rx가 고개를 기울어진 각도가 된다.

도 8은 y축을 기준으로 하여 3D 얼굴 모형이 옆으로 고개를 돌린 정도를 측정하는 것을 나타낸다. 도 8에 도시된 바와 같이, C1-S1의 거리(Δ(C1-S1))와 C2-S2의 거리(Δ(C2-S2))의 비를 통해 3D 얼굴이 회전된 값을 추출할 수 있다. 즉, C1-S1의 길이가 C2-S2의 길이보다 길면, 3D 얼굴 모형의 고개를 왼쪽으로 돌리는 데이터가 산출된다.

도 9는 z축을 기준으로 하여 3D 얼굴 모형이 고개를 상하로 움직인 정도를 측정하는 것을 나타낸다. 도 9에 나타낸 바와 같이, N0와 S0의 길이를 측정하여 이 길이가 정면을 바라보는 기본 3D 얼굴 모형의 N0와 S0의 길이보다 짧으면, 3D 얼굴 모형이 고개를 숙이거나 올린 것으로 판단한다. 그리고, S1과 S2의 길이를 측정하여 이것이 기본 3D 얼굴 모형의 기본값보다 길면 턱이 앞으로 나온 것이므로 고개를 올린 것으로 판단하고, S1과 S2의 길이가 기본값보다 짧으면 턱이 안으로 들어간 것이므로 고개를 숙인 것으로 판단한다. 이러한 N0, S0와 S1, S2의 길이를 통해 고개를 상하로 움직인 데이터를 산출할 수 있다.

얼굴포즈 변환부(123)는 도 7-9와 같이 추출된 포즈데이터를 이용하여 사용자의 3D 얼굴로부터 포즈가 변환된 3D 얼굴을 생성하는 것이다.

얼굴의 포즈를 변환한 후에, 배경이미지의 크기 및 위치데이터를 이용하여 얼굴이미지의 크기 및 위치를 변환한다(제205단계). 즉, 이미지 합성서버(130)의 크기 및 위치데이터 추출부(133)는 배경이미지에서 크기 및 위치데이터를 추출하여 이를 크기 및 위치변환부(124)로 전달하고, 크기 및 위치변환부(124)는 이러한 크기 및 위치데이터를 이용하여 배경이미지의 적당한 자리에 얼굴이미지가 위치하도록 3D 얼굴의 크기 및 위치를 변환한다.

먼저, 3D 얼굴 모형의 크기는 다음과 같이 변환한다. 도 10에서 나타내어진 바와 같이, 크기 및 위치데이터 추출부(133)는 배경이미지 템플릿에서 요구하는 얼굴 크기 데이터(△x(x2-x1), △y(y2-y1))를 추출한다.

그런데, 사용자가 전송한 2D 얼굴이미지로부터 생성한 3D 얼굴 모형은 도 11에서 보는 바와 같이, 기본적인 크기가 Fx, Fy, Fz로 설정되어 있다. 그리고, 얼굴 포즈 변환부(123)에서 얼굴 포즈가 변환되면서 Fx, Fy, Fz도 같이 변환되게 된다. 따라서, 변환된 Fx, Fy 데이터를 이용하여 얼굴이미지의 크기를 배경이미지 템플릿의 크기(△x, △y)에 맞게 조정함으로써, 얼굴 크기 및 위치변환부(124)에서 사용자 얼굴의 크기를 변환하게 된다.

그리고, 3D 얼굴 모형의 위치는 다음과 같이 변환할 수 있다.

배경이미지 템플릿에는 사용자의 3D 얼굴 모형이 위치할 위치값이 미리 입력되어 있다. 즉, 도 12에서 보는 바와 같이, 배경이미지 템플릿에 사용자의 얼굴이미지가 합성될 위치가 저장되어 있고, 크기 및 위치데이터 추출부(133)에서는 배경이미지 템플릿에서 이러한 위치데이터를 추출한다. 도 12를 참조하면, 사용자의 얼굴이 합성될 위치는 얼굴의 중심점을 임의로 선정하여 Tx, Ty라고 할 수 있으며, 3D 얼굴 모형의 z축은 '0'으로 고정시킨다. 그러면, 얼굴크기 및 위치변환부(124)에서 사용자의 3D 얼굴 모형을 배경이미지 템플릿의 위치데이터 Tx, Ty에 맞추어 변환시킨다.

크기 및 위치를 변환한 후에, 배경이미지의 조명정보가 적용된 얼굴이미지를 생성한다(제206단계). 즉, 이미지 합성서버(130)의 조명정보 추출부(134)는 배경이미지에서 조명정보를 추출하여 이를 조명정보 적용부(125)로 전달하고, 조명정보 적용부(125)는 이러한 조명정보를 3D 얼굴에 적용하여 배경이미지의 조명과 어울리는 3D 얼굴을 생성한다.

3D 얼굴 모형에 조명 효과를 부여하는 이유는, 배경이미지 템플릿에서 요구하는 조명과 유사한 조명 효과를 3D 얼굴 모델에 부여하여, 사용자가 배경에서 실제로 사진을 찍은 듯한 효과를 주기 위해서이다. 이러한 조명 효과를 부여하는 것은 3차원 공간에서 이뤄질 수 있기 때문에 사용자의 3D 얼굴 모형이 필요하며, 사용자의 3D 얼굴 모형은 배경이미지에서 요구하는 포즈로 얼굴이 회전되었으므로, 3D 얼굴 모형의 z축 폭인 z축 데이터 값 △z를 구해 (사용자 얼굴의 측면 윤곽을 얻어 낼 수 있다.)

이러한 z축 데이터 값(△z)은 포즈 변환된 Fx, Fy, Fz와 배경이미지가 요구하는 3D 얼굴 모형의 크기인 △x, △y로부터 다음과 같이 산출될 수 있다.

Fx : Fz= △x : △z

Fy : Fz = △y : △z

∴ △z = (Fz * △x) / Fx 또는 △z = (Fz * △y) / Fy

아울러, 배경이미지 템플릿에는 조명의 위치, 종류, 색상에 대한 데이터가 저장되어 있고, 조명정보 추출부(134)가 이러한 위치, 종류, 색상 데이터를 배경이미지로부터 추출하면 조명정보 적용부(125)가 사용자 3D 얼굴 모형에 위치, 종류, 색상에 따라 조명 효과가 부여된 3D 얼굴 모형을 생성하게 된다.

구체적으로, 도 13은 3D 얼굴 좌표계에서 조명의 위치와 방향을 설명하기 위한 도면이다. 도 13을 참조하면, 3D 얼굴 좌표계에서 조명이 위치할 좌표는 Lpx, Lpy, Lpz라고 지정할 수 있고, 이러한 위치에서 비추어지는 조명의 방향은 Ldx, Ldy, Ldz로 설정할 수 있다. 이렇게 배경이미지 템플릿에서 추출된 조명의 위치 및 방향 정보에 따라 사용자 3D 얼굴 모형에 조명 효과를 부여하면, 사용자 얼굴이미지가 배경이미지의 분위기에 매칭되도록 할 수 있다.

다음으로, 조명의 종류에 대해 설명하면, 3차원에서 빛이란 3개의 종류로 구분할 수 있다. 예를 들어, 3D 얼굴 좌표계에 설정할 수 있는 조명의 종류는 'Spotlight', 'Directional Light', 'Point Light'가 있다.

'Spotlight'란 빛이 원뿔 모양으로 방출하도록 설정하는 방식이다. 광원 즉, 배경이미지 템플릿에 기억된 빛의 위치에서 사용자의 3D 얼굴 모형에 빛을 원뿔 모양으로 발산시켜 3D 얼굴 모형에 음영을 표현할 수 있다. 이러한 'Spotlight' 효과는 배경이미지가 무대 또는 밀폐된 공간 등인 경우에 사용되어 배경이미지를 보다 분위기 있게 할 수 있다. 'Spotlight'의 경우, 광원에서 빛이 발산하는 방향 설정이 필요하므로, 조명의 위치 정보 뿐만 아니라 방향 정보인 Ldx, Ldy, Ldz 데이터가 필요하다.

'Directional Light'란 태양광선과 같은 효과를 주는 조명이므로, 배경이미지 공간이 야외일 때 사용될 수 있다. 이러한 'Directional Light'는 배경이미지 내 3D 얼굴 모형에 부드러운 효과를 연출할 수 있게 해준다. 이러한 'Directional Light'는 태양광선과 같기 때문에 조명의 방향이 설정될 필요가 없다. 따라서, 조명의 위치 정보만 필요하며, Ldx, Ldy, Ldz의 모든 값은 '0'이 된다.

'Point Light'란 광원을 중심으로 모든 방향으로 빛을 발산하는 조명이며, 전구를 켠듯한 효과를 줄 수 있다. 'Point Light'에서도 조명의 위치 정보만 필요하고 조명의 방향은 설정될 필요가 없으며, 사용자의 3D 얼굴 모형을 실내에서 찍은 듯한 효과를 주어 배경이미지에 합성시킬 수 있다.

이어서, 조명 색상에 대해 설명하면, 사용자에게 제공되는 배경이미지에서 사용되는 다양한 조명 색상이 3D 얼굴 모형에 매칭되게 설정시켜야 한다. 이 경우, 조명 색상은 RGB 색상 코드를 이용하여 설정시킬 수 있다. 도 14는 3D 얼굴 모형에 부여할 수 있는 조명의 RGB 색상표이다. 도 15는 임의의 조명 위치에서 조명의 종류 및 색상이 반영된 3D 얼굴 모형을 나타낸다. 이러한 방식으로 조명의 색상을 조정하여, 사용자가 고른 배경이미지에 매칭되게 3D 얼굴 영상을 변환시킬 수 있다. 도 15를 보면, 조명의 종류 및 색상에 따라 3D 얼굴 모형에 부여되는 조명 효과의 차이를 알 수 있다.

이상 설명한 바와 같이 얼굴이미지에 포즈, 크기 및 위치, 조명 정보를 반영한 후에, 얼굴이미지 변환서버(120)의 2D 얼굴 생성부(126)는 3D 얼굴로부터 2D 얼굴 이미지를 생성한다(제207단계). 2D 얼굴 이미지를 생성하는 이유는 합성시키고자 하는 배경이미지가 2D 이고, 최종적으로 사용자에게 전송할 합성이미지도 2D이기 때문이다.

다음으로, 이미지 합성서버(130)의 이미지 합성부(135)는 2D 얼굴 생성부(126)로부터 2D 얼굴 이미지를 전달받아 배경이미지와 합성한다(제208단계). 이에 대해서는 도 16을 참조하여 설명한다. 도 16의 (a)는 3D 좌표계 내에서 배경이미지 템플릿이 요구하는 데이터를 기반으로 3D 얼굴 모형의 포즈, 크기 및 위치가 변환된 후 해당 얼굴에 조명 효과가 부여된 상태를 나타낸다. 이러한 도 16의 (a)는 배경이미지 템플릿인 도 16의 (b)와 합성되어 최종적으로 도 16의 (c)가 된다.

따라서, 합성이미지 제공시스템(110)은 사용자 얼굴이미지와 배경이미지가 합성된 합성이미지인 도 16의 (c)를 사용자에게 전송한다(제209단계). 이미지 전송은 MMS 방식을 이용할 수 있으며, 사용자는 수신한 합성이미지를 자신의 단말기에 배경 등으로 활용할 수 있다.

Claims

네트워크를 통해 사용자 단말기와 유무선으로 연결되어 사용자에게 얼굴이미지와 배경이미지를 합성한 합성이미지를 제공하는 합성이미지 제공시스템에 있어서,

사용자 단말기로부터 얼굴이미지를 수신하는 얼굴이미지 수신부, 수신된 얼굴이미지로부터 3D 얼굴을 생성하는 3D 얼굴 생성부, 포즈데이터 추출부로부터 받은 포즈데이터를 이용하여 3D 얼굴로부터 포즈가 변환된 3D 얼굴을 생성하는 얼굴포즈 변환부, 크기 및 위치데이터 추출부로부터 받은 크기 및 위치데이터를 이용하여 3D 얼굴로부터 얼굴크기 및 위치가 변환된 3D 얼굴을 생성하는 얼굴크기 및 위치 변환부, 3D 얼굴로부터 2D 얼굴을 생성하는 2D 얼굴 생성부를 포함하는 얼굴이미지 변환서버;

사용자가 선택한 배경이미지에 대한 전화번호를 사용자에게 전송하는 배경이미지 선택부, 배경이미지에서 얼굴의 포즈데이터를 추출하는 포즈데이터 추출부, 배경이미지에서 얼굴영역의 크기 및 위치데이터를 추출하는 크기 및 위치데이터 추출부, 2D 얼굴 생성부로부터 얼굴이미지를 전달받아 배경이미지와 합성하는 이미지 합성부를 포함하는 이미지 합성서버를 구비하는 것을 특징으로 하는 합성이미지 제공시스템.
제1항에 있어서, 배경이미지는 3D 좌표계를 이용하여 템플릿(Template)으로 만들어져 합성이미지 제공시스템에 저장되어 있는 것을 특징으로 하는 합성이미지 제공시스템.
제2항에 있어서,

상기 포즈데이터 추출부는 배경이미지 템플릿에서 사용자의 얼굴이미지가 합성될 영역으로부터 기본 모델 얼굴의 특징점을 추출하고, x,y,z 축을 기준으로 하여 특징점의 회전값을 추출하며,

상기 얼굴포즈 변환부는 회전값을 이용하여 포즈가 변환된 3D 얼굴을 생성하는 것을 특징으로 하는 합성이미지 제공시스템.
제1항에 있어서,

상기 이미지 합성서버는 배경이미지에서 조명 정보를 추출하는 조명정보 추출부를 더 포함하고,

상기 얼굴이미지 변환서버는 상기 조명정보 추출부로부터 받은 조명정보를 3D 얼굴에 적용하여 배경이미지의 조명과 어울리는 3D 얼굴을 생성하는 조명정보 적용부를 더 포함하는 것을 특징으로 하는 합성이미지 제공시스템.
제4항에 있어서, 배경이미지에는 조명의 위치, 종류, 색상에 대한 데이터가 저장되어 있고, 상기 조명정보 추출부는 이러한 조명의 위치, 종류, 색상에 대한 데이터를 추출하는 것을 특징으로 하는 합성이미지 제공시스템.
제5항에 있어서, 조명의 종류는 'Spotlight', 'Directional Light' 또는 'Point Light'인 것을 특징으로 하는 합성이미지 제공시스템.
네트워크를 통해 사용자 단말기와 유무선으로 연결되어 사용자에게 얼굴이미지와 배경이미지를 합성한 합성이미지를 제공하는 합성이미지 제공시스템에서 수행되는 합성이미지 제공방법에 있어서,

(a) 사용자 단말기가 합성이미지 제공시스템에 접속하여 배경이미지를 선택하는 단계;

(b) 사용자 단말기가 선택된 배경이미지에 대한 전화번호를 수신하는 단계;

(c) 사용자 단말기가 수신된 전화번호를 이용하여 얼굴이미지를 합성이미지 제공시스템에 전송하는 단계;

(d) 합성이미지 제공시스템이 수신된 얼굴이미지로부터 3D 얼굴이미지를 생성하는 단계;

(e) 합성이미지 제공시스템이 배경이미지의 포즈데이터를 이용하여 3D 얼굴의 포즈를 변환하는 단계;

(f) 합성이미지 제공시스템이 배경이미지의 크기 및 위치데이터를 이용하여 3D 얼굴의 크기 및 위치를 변환하는 단계;

(g) 합성이미지 제공시스템이 3D 얼굴로부터 2D 얼굴이미지를 생성하는 단계;

(h) 합성이미지 제공시스템이 2D 얼굴이미지와 배경이미지를 합성하는 단계 및;

(i) 합성이미지 제공시스템이 사용자 단말기에게 합성이미지를 전송하는 단계를 포함하는 것을 특징으로 하는 합성이미지 제공방법.
제7항에 있어서, 상기 (a) 단계에서 배경이미지는 3D 좌표계를 이용하여 템플릿(Template)으로 만들어져 합성이미지 제공시스템에 저장되어 있는 것을 특징으로 하는 합성이미지 제공방법.
제7항에 있어서, 상기 (d) 단계는,

(d1) 수신된 얼굴이미지에서 얼굴 영역을 검출하는 단계;

(d2) 검출된 얼굴 영역 내에서 얼굴의 각 특징점을 추출하는 단계;

(d3) 3D 얼굴 모형에서 사용자의 얼굴 특징점이 반영된 사용자 3D 얼굴 모형을 생성하는 단계 및;

(d4) 상기 (d1) 단계에서 검출된 사용자 얼굴 영역의 텍스처(Texture)를 사용자 3D 얼굴 모형에 매핑하는 단계를 포함하는 것을 특징으로 하는 합성이미지 제공방법.
제8항에 있어서, 상기 (e) 단계는,

배경이미지 템플릿에서 사용자의 얼굴이미지가 합성될 영역으로부터 기본 모델 얼굴의 특징점을 추출하고, x,y,z 축을 기준으로 하여 특징점의 회전값을 추출함으로써 3D 얼굴의 포즈를 변환하는 것을 특징으로 하는 합성이미지 제공방법.
제7항에 있어서, 상기 (f) 단계 후에,

합성이미지 제공시스템이 배경이미지의 조명정보가 적용된 3D 얼굴을 생성하는 단계를 더 포함하는 것을 특징으로 하는 합성이미지 제공방법.
제11항에 있어서, 배경이미지에 저장된 조명의 위치, 종류, 색상에 대한 데이터를 추출하여 이를 3D 얼굴에 적용하는 것을 특징으로 하는 합성이미지 제공방법.
제12항에 있어서, 조명의 종류는 'Spotlight', 'Directional Light' 또는 'Point Light'인 것을 특징으로 하는 합성이미지 제공방법.