KR102152078B1

KR102152078B1 - 3d 얼굴 모델 생성 장치 및 방법

Info

Publication number: KR102152078B1
Application number: KR1020170078907A
Authority: KR
Inventors: 윤승욱; 임성재; 황본우; 박창준; 최진성
Original assignee: 한국전자통신연구원
Priority date: 2016-12-07
Filing date: 2017-06-22
Publication date: 2020-09-04
Also published as: KR20180065860A

Abstract

3D 얼굴 모델 생성 장치 및 방법이 개시된다. 본 발명에 따른 3D 얼굴 모델 생성 장치에 의해 수행되는 3D 얼굴 모델 생성 방법은, 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계, 선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 단계, 전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 단계, 상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 단계, 상기 오차 함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하는 단계, 저장된 학습 매개변수, 변형된 상기 참조 헤어 모델 및 변형된 상기 참조 수염 모델 중 적어도 어느 하나를 이용하여, 최적 매개변수를 추출하는 단계, 추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하는 단계, 그리고 생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 단계를 포함한다.

Description

3D 얼굴 모델 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING 3D FACE MODEL}

본 발명은 3D 얼굴 모델 생성 기술에 관한 것으로, 특히 3D 얼굴 복원 모델과 외형적으로 유사하며, 다양한 응용에서 사용 가능한 3D 얼굴, 헤어 및 수염 모델을 생성하는 기술에 관한 것이다.

최근, 센서 기술이 발달하고, 3D 콘텐츠에 관한 관심이 확산됨에 따라, 3D 얼굴 모델의 중요성이 증대되고 있다. 오늘날 다양한 센서 및 장치로부터 획득한 입력 데이터로부터 대상의 3D 외형 정보를 복원할 수 있으나, 머리카락이나 수염 등은 실물과 유사하게 복원하기 어렵다.

얼굴의 일부를 가린 머리카락(헤어)의 경우, 얼굴 외형이 헤어 모양에 따라 잘못 복원되는 경우가 많다. 또한, 검은 색의 머리카락은 적외선 센서 등으로 촬영하더라도, 빛이 흡수되어 제대로 복원하기 힘들다.

이러한 문제를 해결하기 위하여, 머리에 흰색 스프레이를 뿌리고 촬영하는 경우가 있으나, 이는 매우 번거롭고 불편한 작업이다.

복수의 카메라로부터 사람을 촬영하는 경우, 대략적인 얼굴 및 헤어의 외형은 복원되지만, 머리카락이 머리에 눌린 형태로 복원되므로, 사람의 얼굴과 헤어의 구분이 어렵다. 이로 인하여 실물과 복원 모델의 차이가 발생하고, 사실감 있는 복원 모델의 구현이 어렵다. 또한, 이러한 점은 컴퓨터 애니메이션, 게임, 3D 프린팅 등과 같은 다양한 멀티미디어 응용에서의 제약 사항으로 작용하고 있다.

종래 기술에 따르면, 헤어 템플릿 모델 또는 예제 모델을 사용하여 3D 헤어 모델을 자동으로 생성하거나 시뮬레이션하는 3D 헤어 시뮬레이션 기술, 가상 헤어를 3D 얼굴 모델에 적용해 렌더링하는 기술 등이 제안되었다.

그러나, 이러한 종래 기술들은 헤어에만 특화된 방식으로, 전체적인 실물의 사실적 3D 외형 복원에 초점을 맞춘 기술이 아니라, 헤어 캡쳐나 시뮬레이션에 초점을 맞춘 기술이다.

최근 3D 프린팅을 위하여 대상의 헤어 스타일을 포함한 일체형 얼굴 또는 상반신 모델을 다시점 영상을 이용하여 정밀하게 복원하는 연구가 발표되었다. 이러한 방법은 얼굴과 헤어를 별도 모델로 분리하지 않고, 컬러 차이를 이용해 헤어 영역만 구분한 후, 입력 영상에 유사한 형태로 헤어를 모델링하는 방식을 사용한다.

입력 영상과 비교해 큰 차이가 없는 세밀한 복원 결과를 획득할 수 있으나, 3D 프린팅에만 국한된 방식으로, 범용성에 한계가 있다. 그리고 영상 기반의 복원 방식은 패턴이 없는 단일 색 영역의 복원(ex. 검은 머리 복원)에 취약하며, 컬러 차이를 이용한 얼굴과 헤어 영역 구분은 대상의 인종이나 피부색, 머리색 등의 차이에 민감하다.

따라서, 얼굴 영역과 헤어 영역 및 수염 영역을 분리하여 처리함으로써, 다양한 응용에 쉽게 적용할 수 있도록 범용성을 높이고, 실물과 가장 유사한 3D 얼굴 외형을 복원할 수 있는 기술의 개발이 필요하다.

한국 등록 특허 제10-0327541호, 2000년 11월 06일 공고(명칭: 3차원 얼굴 모델링 시스템 및 모델링 방법)

본 발명의 목적은 얼굴 영역, 헤어 영역 및 수염 영역을 분리하여 처리함으로써, 다양한 응용에 적용하기 용이하도록 범용성을 높이는 것이다.

또한, 본 발명의 목적은 3D 헤어 및 수염 모델을 생성하기 위한 최적 매개변수를 추출하고, 이를 통하여 실물과 가장 유사한 형태로 3D 얼굴 외형을 복원하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 3D 얼굴 모델 생성 장치에 의해 수행되는 3D 얼굴 모델 생성 방법은, 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계, 선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 단계, 전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 단계, 상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 단계, 상기 오차 함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하는 단계, 저장된 학습 매개변수, 변형된 상기 참조 헤어 모델 및 변형된 상기 참조 수염 모델 중 적어도 어느 하나를 이용하여, 최적 매개변수를 추출하는 단계, 추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하는 단계, 그리고 생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 단계를 포함한다.

이때, 상기 헤어 영역 및 상기 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계는, 사용자로부터 상기 영역을 선택받거나, 기 저장된 헤어 참조 모델 및 수염 참조 모델 중 적어도 어느 하나를 이용하여 상기 영역을 인식할 수 있다.

이때, 상기 입력받은 3D 얼굴 복원 모델은, 3D 스캐너, 깊이 센서 및 카메라 중 적어도 어느 하나로부터 촬영된 영상으로부터 복원된 3D 얼굴 메쉬 모델일 수 있다.

이때, 상기 최종 3D 얼굴 모델을 출력하는 단계는, 상기 최종 3D 얼굴 모델의 용도를 기반으로 상기 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력할 수 있다.

이때, 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 입력받는 단계, 입력받은 상기 데이터 셋을 이용하여 기계학습을 수행하는 단계, 그리고 상기 기계학습의 수행 결과인 상기 학습 매개변수를 저장하는 단계를 더 포함할 수 있다.

이때, 생성된 상기 헤어 모델 및 상기 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이하는 단계, 렌더링하여 디스플레이 된 모델과 상기 입력받은 3D 얼굴 복원 모델 간 유사도를 기 설정된 임계값과 비교하는 단계, 그리고 상기 유사도가 상기 임계값 미만인 경우, 상기 오차 함수를 재계산하는 단계를 더 포함할 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 3D 얼굴 모델 생성 장치는 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하고, 선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 헤어 및 수염 영역 선택부, 전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 메쉬 모델 병합부, 상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 오차함수 계산부, 상기 오차함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하고, 저장된 학습 매개변수, 변형된 상기 참조 헤어 모델 및 변형된 상기 참조 수염 모델 중 적어도 어느 하나를 이용하여 최적 매개변수를 추출하는 최적 매개변수 추출부, 그리고 추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하고, 생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 최종 3D 얼굴 모델 출력부를 포함한다.

이때, 상기 최종 3D 얼굴 모델 출력부는, 상기 최종 3D 얼굴 모델의 용도를 기반으로 상기 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력할 수 있다.

이때, 입력받은 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 이용하여 기계학습을 수행하고, 상기 기계학습의 수행 결과인 상기 학습 매개변수를 저장하는 기계 학습부를 더 포함할 수 있다.

이때, 상기 최종 3D 얼굴 모델 출력부는, 상기 생성된 상기 헤어 모델 및 상기 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이하고, 상기 오차 함수 계산부는, 렌더링하여 디스플레이 된 모델과 상기 입력받은 3D 얼굴 복원 모델 간 유사도를 기 설정된 임계값과 비교한 결과, 상기 유사도가 상기 임계값 미만인 경우 상기 오차 함수를 재계산할 수 있다.

본 발명에 따르면, 얼굴 영역, 헤어 영역 및 수염 영역을 분리하여 처리함으로써, 다양한 응용에 적용하기 용이하도록 범용성을 높일 수 있다.

또한 본 발명에 따르면, 3D 헤어 및 수염 모델을 생성하기 위한 최적 매개변수를 추출하고, 이를 통하여 실물과 가장 유사한 형태로 3D 얼굴 외형을 복원 할 수 있다.

도 1은 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 기계 학습부의 구성을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일실시예에 따른 기계 학습 수행 과정을 나타낸 순서도이다.
도 6은 본 발명의 일실시예에 따른 오차함수 재계산 과정을 나타낸 순서도이다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.

도 1에 도시한 바와 같이, 3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 참조 모델 저장부(110), 얼굴 참조 모델 저장부(120) 및 학습 매개변수 저장부(130)와 연결될 수 있다.

3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 참조 모델 저장부(110)에 저장된 참조 모델을 이용하여, 입력받은 3D 얼굴 복원 모델로부터 헤어 영역 및 수염 영역 중 적어도 어느 하나를 인식할 수 있다.

또한, 3D 얼굴 모델 생성 장치(200)는 얼굴 참조 모델 저장부(120)에 저장된 얼굴 참조 모델을 이용하여 3D 얼굴 전이를 수행할 수 있다.

3D 얼굴 전이를 수행한 3D 얼굴 모델 생성 장치(200)는 전이된 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델을 하나의 메쉬 모델로 병합한다. 그리고 3D 얼굴 모델 생성 장치(200)는 3D 얼굴 복원 모델과 병합된 메쉬 모델간 오차 함수를 계산하고, 계산된 오차 함수를 기반으로 참조 헤어 모델 및 참조 수염 모델을 변형한다.

3D 얼굴 모델 생성 장치(200)는 학습 매개변수 저장부(130)에 저장된 학습 매개변수, 변형된 참조 헤어 모델 및 변형된 참조 수염 모델 중 적어도 어느 하나를 이용하여, 최적 매개변수를 추출할 수 있다.

그리고 3D 얼굴 모델 생성 장치(200)는 최적 매개변수를 기반으로 헤어 모델 및 수염 모델을 생성하고, 생성된 헤어 모델 및 수염 모델에 상응하는 최종 3D 얼굴 모델을 출력할 수 있다.

이하에서는 도 2 및 도 3을 통하여 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 구성에 대하여 더욱 상세하게 설명한다.

도 2는 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 구성을 나타낸 블록도이다.

도 2에 도시한 바와 같이, 3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 영역 선택부(210), 메쉬 모델 병합부(220), 오차 함수 계산부(230), 기계 학습부(240), 최적 매개변수 추출부(250) 및 최종 3D 얼굴 모델 출력부(260)를 포함할 수 있다.

먼저, 헤어 및 수염 영역 선택부(210)는 입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택한다. 그리고 헤어 및 수염 영역 선택부(210)는 선택된 헤어 영역 및 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이한다.

여기서, 입력받은 3D 얼굴 복원 모델은 3D 스캐너, 깊이 센서 및 카메라 중 적어도 어느 하나로부터 촬영된 영상으로부터, 복원된 3D 얼굴 메쉬 모델을 의미할 수 있다.

그리고 헤어 및 수염 영역 선택부(210)는 사용자로부터, 헤어 영역 및 수염 영역을 선택받거나, 기 저장된 헤어 참조 모델 및 수염 참조 모델 중 적어도 어느 하나를 이용하여 헤어 영역 및 수염 영역을 인식할 수 있다.

다음으로 메쉬 모델 병합부(220)는 전이된 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합한다.

오차 함수 계산부(230)는 3D 얼굴 복원 모델과 병합된 메쉬 모델 간 오차 함수를 계산한다.

또한, 오차함수 계산부(230)는 최종 3D 얼굴 모델 출력부(260)에서 렌더링하여 디스플레이 된 모델과 입력받은 3D 얼굴 복원 모델 간 유사도를 연산하고, 연산된 유사도와 기 설정된 임계값을 비교한다. 그리고 비교 결과, 유사도가 임계값 미만인 경우 오차함수 계산부(230)는 오차함수를 재계산할 수 있다.

기계 학습부(240)는 입력받은 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 이용하여 기계 학습을 수행한다. 그리고 기계 학습의 수행 결과인 학습 매개변수를 저장한다. 이때, 기계 학습부(240)는 내부의 저장소에 학습 매개변수를 저장하거나, 학습 매개변수 저장부(130)에 학습 매개변수를 저장할 수 있다.

도 3은 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치의 기계 학습부의 구성을 나타낸 도면이다.

도 3에 도시한 바와 같이, 기계 학습부(240)는 데이터 셋 입력 모듈(241), 기계 학습 수행 모듈(243) 및 학습 매개변수 저장 모듈(245)을 포함한다.

먼저, 데이터 셋 입력 모듈(241)은 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 입력받는다.

그리고 기계 학습 수행 모듈(243)은 입력받은 데이터 셋을 이용하여 기계학습을 수행한다.

또한, 학습 매개변수 저장 모듈(245)은 기계학습의 수행 결과인 학습 매개변수를 저장한다. 이때, 학습 매개변수 저장 모듈(245)은 3D 얼굴 모델 생성 장치(200)의 내부 저장소에 학습 매개변수를 저장하거나, 외부의 학습 매개변수 저장부(130)에 학습 매개변수를 저장할 수 있다.

다시 도 2에 대하여 설명하면, 최적 매개변수 추출부(250)는 오차 함수를 기반으로, 참조 헤어 모델 및 참조 수염 모델 중 적어도 어느 하나를 변형한다.

그리고 최적 매개변수 추출부(250)는 저장된 학습 매개변수, 변형된 참조 헤어 모델 및 변형된 참조 수염 모델 중 적어도 어느 하나를 이용하여 최적 매개변수를 추출할 수 있다.

마지막으로, 최종 3D 얼굴 모델 출력부(260)는 생성된 헤어 모델 및 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이할 수 있다.

그리고 최종 3D 얼굴 모델 출력부(260)는 최적 매개변수 추출부(250)에서 추출된 최적 매개변수를 기반으로 헤어 모델, 수염 모델 중 적어도 어느 하나를 생성한다.

또한, 최종 3D 얼굴 모델 출력부(260)는 생성된 헤어 모델, 생성된 수염 모델 및 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력할 수 있다. 이때, 최종 3D 얼굴 모델 출력부(260)는 최종 3D 얼굴 모델의 용도를 기반으로, 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력할 수 있다.

이하에서는 도 4 내지 도 6을 통하여, 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치에 의해 수행되는 3D 얼굴 모델 생성 방법에 대하여 더욱 상세하게 설명한다.

도 4는 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 방법을 설명하기 위한 순서도이다.

먼저, 3D 얼굴 모델 생성 장치(200)는 헤어 영역 및 수염 영역을 선택한다(S410).

3D 얼굴 모델 생성 장치(200)는 3D 스캐너, 깊이 센서 및 카메라 등이 촬영한 영상으로부터 복원된 3D 얼굴 복원 모델을 입력받는다. 여기서, 3D 얼굴 복원 모델은 3D 얼굴 모델의 메쉬 데이터 형태일 수 있다.

그리고 3D 얼굴 모델 생성 장치(200)는 3D 얼굴 복원 모델에서 헤어 영역 및 수염 영역을 선택한다. 3D 얼굴 모델 생성 장치(200)는 사용자 인터페이스를 통하여 사용자로부터 헤어 영역 및 수염 영역을 선택받거나, 기 저장된 헤어 참조 모델 및 수염 참조 모델을 이용하여 헤어 영역 및 수염 영역을 자동으로 인식할 수 있다. 이때, 헤어 참조 모델 및 수염 참조 모델은 헤어 및 수염 참조 모델 저장부(110)에 저장된 것일 수 있다.

그리고 3D 얼굴 모델 생성 장치(200)는 얼굴 영역으로 얼굴 참조 모델을 전이한다(S420).

여기서, 얼굴 영역은 3D 얼굴 복원 모델에서 헤어 영역 및 수염 영역 이외의 영역을 의미하며, 3D 얼굴 모델 생성 장치(200)는 얼굴 참조 모델을 3D 얼굴 복원 모델에서의 얼굴 영역으로 전이한다. 이때, 얼굴 참조 모델은 얼굴 참조 모델 저장부(120)에 기 저장되어 있는 것일 수 있다.

다음으로 3D 얼굴 모델 생성 장치(200)는 하나의 메쉬 모델로 병합하고(S430), 3D 얼굴 복원 모델과 병합된 메쉬 모델 간 오차 함수를 계산한다(S440).

3D 얼굴 모델 생성 장치(200)는 전이된 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델을 하나의 메쉬 모델로 병합한다. 그리고 3D 얼굴 모델 생성 장치(200)는 초기에 입력받은 3D 얼굴 복원 모델과 S430 단계에서 병합된 메쉬 모델 사이의 오차 함수를 계산한다.

이때, 오차 함수는 전체 모델 사이의 오차 관계를 정의하므로, 3D 얼굴 모델 생성 장치(200)는 헤어 영역의 오차 함수와 수염 영역의 오차 함수를 분리하여 계산할 수 있다.

그리고 3D 얼굴 모델 생성 장치(200)는 오차 함수를 기반으로 참조 모델을 변형한다(S450).

3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 각각에 상응하는 오차 함수를 이용하여, 헤어 참조 모델 및 수염 참조 모델을 변형하고, 변형된 헤어 참조 모델 및 수염 참조 모델을 출력할 수 있다.

3D 얼굴 모델 생성 장치(200)는 최적 매개변수를 추출한다(S460).

3D 얼굴 모델 생성 장치(200)는 저장된 학습 매개변수, 변형된 헤어 참조 모델 및 변형된 수염 참조 모델을 이용하여, 최적 매개변수를 추출한다. 여기서, 최적 매개변수는 3D 얼굴 복원 모델과 가장 유사한 최종 3D 얼굴 모델을 생성하도록 최적화된 매개변수를 의미한다.

마지막으로 3D 얼굴 모델 생성 장치(200)는 최종 3D 얼굴 모델을 출력한다(S470).

S460 단계에서 추출된 최적 매개변수를 기반으로, 3D 얼굴 모델 생성 장치(200)는 헤어 모델 및 수염 모델을 생성한다. 그리고 3D 얼굴 모델 생성 장치(200)는 생성된 헤어 모델 및 수염 모델을 렌더링하여 출력한다.

이때, 3D 얼굴 모델 생성 장치(200)는 렌더링한 3D 헤어 모델 및 3D 수염 모델과 초기에 입력받은 3D 얼굴 복원 모델을 비교하여 유사도를 연산하고, 연산된 유사도를 기반으로 오차 함수의 재계산 여부를 결정하는 과정을 추가로 수행할 수 있다. 3D 얼굴 모델 생성 장치(200)가 오차 함수를 재계산하는 과정은 후술할 도 6을 통하여 더욱 상세하게 설명한다.

그리고 3D 얼굴 모델 생성 장치(200)는 생성된 헤어 모델, 수염 모델 및 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력한다. 이때, 3D 얼굴 모델 생성 장치(200)는 최종 3D 얼굴 모델의 용도에 상응하도록, 최종 3D 얼굴 모델의 포맷 및 구조를 설정하여, 최종 3D 얼굴 모델을 출력할 수 있다.

예를 들어, 최종 3D 얼굴 모델의 용도가 3D 프린팅인 경우, 3D 얼굴 모델 생성 장치(200)는 얼굴 영역, 헤어 모델 및 수염 모델을 모두 결합하여 삼각 메쉬화 과정을 수행할 수 있다. 그리고 3D 얼굴 모델 생성 장치(200)는 3D 프린터의 정밀도에 따라 결합된 모델의 세분화(Subdivision) 또는 메쉬 제거(Decimation) 과정을 수행한 후, 3D 프린팅 파일의 포맷(*.stl)으로 변환하여 출력할 수 있다.

반면, 최종 3D 얼굴 모델의 용도가 3D 애니메이션 또는 3D 게임인 경우, 3D 얼굴 모델 생성 장치(200)는 메쉬 제거 과정을 수행한 후, 사각 메쉬 또는 NURBS(Non-Uniform Rational B-spline) 형식으로 변환하여 응용에 적합한 파일 포맷으로 출력할 수 있다.

도 5는 본 발명의 일실시예에 따른 기계 학습 수행 과정을 나타낸 순서도이다.

먼저, 3D 얼굴 모델 생성 장치(200)는 데이터 셋을 입력받아(S510), 기계 학습을 수행한다(S520).

3D 얼굴 모델 생성 장치(200)는 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋을 입력받는다. 그리고 3D 얼굴 모델 생성 장치(200)는 S510 단계에서 입력받은 데이터 셋을 이용하여 기계 학습을 수행한다.

그리고 3D 얼굴 모델 생성 장치(200)는 기계 학습의 수행 결과인 학습 매개변수를 저장한다(S530).

3D 얼굴 모델 생성 장치(200)는 기계 학습의 수행 결과로 학습 매개변수를 출력하여 저장한다. 여기서, 학습 매개변수는 입력 모델인 3D 얼굴 복원 모델과 가장 유사한 헤어 모델 및 수염 모델을 생성할 수 있는 매개변수를 의미한다.

이때, 3D 얼굴 모델 생성 장치(200)는 헤어 모델 및 수염 모델 각각에 대하여 기계 학습을 수행하며, 3D 헤어 모델 데이터 셋을 기반으로 기계 학습을 수행하여 헤어 모델을 생성하기 위한 매개변수를 출력하고, 3D 수염 모델 데이터 셋을 기반으로 기계 학습을 수행하여 수염 모델을 생성하기 위한 매개변수를 출력할 수 있다.

매개변수는 헤어나 수염의 생성 방향, 굵기, 꼬임 형태, 길이 등에 관한 것일 수 있으며, 헤어 모델 및 수염 모델의 특성에 따라 결정되는 값일 수 있다.

도 6은 본 발명의 일실시예에 따른 오차함수 재계산 과정을 나타낸 순서도이다.

먼저, 3D 얼굴 모델 생성 장치(200)는 헤어 및 수염 모델을 렌더링하여 디스플레이한다(S610).

3D 얼굴 모델 생성 장치(200)는 도 4의 S470 단계에서 생성된 헤어 모델 및 수염 모델을 렌더링하여 출력한다.

그리고 3D 얼굴 모델 생성 장치(200)는 디스플레이된 모델과 3D 얼굴 메쉬 모델 간의 유사도를 연산한다(S620).

3D 얼굴 모델 생성 장치(200)는 렌더링한 3D 헤어 모델 및 3D 수염 모델과 초기에 입력받은 3D 얼굴 복원 모델을 비교하여 유사도를 연산할 수 있다.

설명의 편의상, 3D 얼굴 모델 생성 장치(200)가 렌더링하여 디스플레이된 3D 헤어 모델 및 3D 수염 모델과 3D 얼굴 복원 모델을 비교하여 유사도를 연산하는 것으로 설명하였으나 이에 한정하지 않고, 3D 얼굴 모델 생성 장치(200)는 사용자에게 렌더링한 3D 헤어 모델 및 3D 수염 모델을 디스플레이하여 제공하고, 사용자로부터 디스플레이된 3D 헤어 모델 및 3D 수염 모델과 3D 얼굴 복원 모델과의 닮음 정도인 유사도를 입력받을 수 있다.

또한, 3D 얼굴 모델 생성 장치(200)는 연산된 유사도 또는 사용자로부터 입력받은 유사도와 임계값을 비교하는 과정을 수행한다.

유사도가 임계값 미만인 경우(S630 YES), 3D 얼굴 모델 생성 장치(200)는 오차 함수를 재계산한다(S640).

3D 얼굴 모델 생성 장치(200)는 유사도와 임계값을 비교하고, 유사도가 임계값 미만인 경우 초기에 입력받은 3D 얼굴 복원 모델과 도 4의 S470 단계에서 출력된 최종 3D 얼굴 모델 간 오차 함수를 재계산할 수 있다.

이와 같이, 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치(200)는 오차 함수를 재계산하고, 재계산된 오차함수를 기반으로 참조 모델을 변형하는 과정을 수행하여, 초기에 입력받은 3D 얼굴 복원 모델과 최종 3D 얼굴 모델 간 차이를 줄일 수 있다.

또한, 3D 얼굴 모델 생성 장치(200)는 사용자 인터페이스를 통하여 사용자로부터 3D 헤어 모델 및 3D 수염 모델의 외형 변형 설정을 입력받을 수 있다. 이때, 3D 얼굴 모델 생성 장치(200)는 슬라이드 바와 같은 간단한 인터페이스를 통하여, 외형 변형 설정을 입력받을 수 있다.

반면, 유사도가 임계값 이상인 경우(S630 NO), 3D 얼굴 모델 생성 장치(200)는 S640 단계의 오차 함수를 재계산하는 과정의 수행을 생략할 수 있다.

이와 같이, 본 발명의 일실시예에 따른 3D 얼굴 모델 생성 장치(200)는 하나의 프레임워크 상에서 얼굴과 헤어/수염을 동시에 고려하여 복원을 수행함으로써, 종래 기술의 문제점들을 해결할 수 있다. 그리고 3D 얼굴 모델 생성 장치(200)는 매개변수를 기반으로 헤어 모델 및 수염 모델을 생성하고, 변형하므로 3D 얼굴 모델의 응용 분야에 대한 제약이 적다. 또한, 3D 얼굴 모델 생성 장치(200)는 실물과 가장 유사한 형태로 대상의 3D 얼굴 외형을 복원할 수 있다.

도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

도 7을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(700)에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(700)은 버스(720)를 통하여 서로 통신하는 하나 이상의 프로세서(710), 메모리(730), 사용자 인터페이스 입력 장치(740), 사용자 인터페이스 출력 장치(750) 및 스토리지(760)를 포함할 수 있다. 또한, 컴퓨터 시스템(700)은 네트워크(780)에 연결되는 네트워크 인터페이스(770)를 더 포함할 수 있다. 프로세서(710)는 중앙 처리 장치 또는 메모리(730)나 스토리지(760)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(730) 및 스토리지(760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(731)이나 RAM(732)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 3D 얼굴 모델 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

110: 헤어 및 수염 참조 모델 저장부
120: 얼굴 참조 모델 저장부
130: 학습 매개변수 저장부 200: 3D 얼굴 모델 생성 장치
210: 헤어 및 수염 영역 선택부 220: 메쉬 모델 병합부
230: 오차 함수 계산부 240: 기계 학습부
250: 최적 매개변수 추출부 260: 최종 3D 얼굴 모델 출력부
700: 컴퓨터 시스템 710: 프로세서
720: 버스 730: 메모리
731: 롬 732: 램
740: 사용자 인터페이스 입력 장치
750: 사용자 인터페이스 출력 장치
760: 스토리지 770: 네트워크 인터페이스
780: 네트워크

Claims

3D 얼굴 모델 생성 장치에 의해 수행되는 3D 얼굴 모델 생성 방법에 있어서,
입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계,
선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 단계,
전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 단계,
상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 단계,
상기 오차 함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하는 단계,
저장된 학습 매개변수, 상기 참조 헤어 모델로부터 변형된 참조 헤어 모델 및 상기 참조 수염 모델로부터 변형된 참조 수염 모델 중 적어도 어느 하나를 이용하여, 최적 매개변수를 추출하는 단계,
추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하는 단계, 그리고
생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 단계를 포함하는 3D 얼굴 모델 생성 방법.
제1항에 있어서,
상기 헤어 영역 및 상기 수염 영역 중 적어도 어느 하나의 영역을 선택하는 단계는,
사용자로부터 상기 영역을 선택받거나, 기 저장된 헤어 참조 모델 및 수염 참조 모델 중 적어도 어느 하나를 이용하여 상기 영역을 인식하는 것을 특징으로 하는 3D 얼굴 모델 생성 방법.
제1항에 있어서,
상기 입력받은 3D 얼굴 복원 모델은,
3D 스캐너, 깊이 센서 및 카메라 중 적어도 어느 하나로부터 촬영된 영상으로부터 복원된 3D 얼굴 메쉬 모델인 것을 특징으로 하는 3D 얼굴 모델 생성 방법.
제1항에 있어서,
상기 최종 3D 얼굴 모델을 출력하는 단계는,
상기 최종 3D 얼굴 모델의 용도를 기반으로 상기 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력하는 것을 특징으로 하는 3D 얼굴 모델 생성 방법.
제1항에 있어서,
3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 입력받는 단계,
입력받은 상기 데이터 셋을 이용하여 기계학습을 수행하는 단계, 그리고
상기 기계학습의 수행 결과인 상기 학습 매개변수를 저장하는 단계를 더 포함하되,
매개변수는,
헤어나 수염의 생성방향, 굵기, 꼬임형태 및 길이 중 적어도 하나에 관련된 것으로, 헤어 모델 및 수염 모델의 특정에 의해 결정되는것을 특징으로 하는 3D 얼굴 모델 생성 방법.
제1항에 있어서,
생성된 상기 헤어 모델 및 상기 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이하는 단계,
렌더링하여 디스플레이된 모델과 상기 입력받은 3D 얼굴 복원 모델 간 유사도를 기 설정된 임계값과 비교하는 단계, 그리고
상기 유사도가 상기 임계값 미만인 경우, 상기 오차 함수를 재계산하는 단계를 더 포함하는 것을 특징으로 하는 3D 얼굴 모델 생성 방법.
입력받은 3D 얼굴 복원 모델로부터, 헤어 영역 및 수염 영역 중 적어도 어느 하나의 영역을 선택하고, 선택된 상기 헤어 영역 및 상기 수염 영역 이외의 영역인 얼굴 영역으로 얼굴 참조 모델을 전이하는 헤어 및 수염 영역 선택부,
전이된 상기 얼굴 영역, 참조 헤어 모델 및 참조 수염 모델 중 적어도 둘 이상을 하나의 메쉬 모델로 병합하는 메쉬 모델 병합부,
상기 3D 얼굴 복원 모델과 병합된 상기 메쉬 모델 간 오차 함수를 계산하는 오차함수 계산부,
상기 오차함수를 기반으로, 상기 참조 헤어 모델 및 상기 참조 수염 모델 중 적어도 어느 하나를 변형하고, 저장된 학습 매개변수, 상기 참조 헤어 모델로부터 변형된 참조 헤어 모델 및 상기 참조 수염 모델로부터 변형된 참조 수염 모델 중 적어도 어느 하나를 이용하여 최적 매개변수를 추출하는 최적 매개변수 추출부, 그리고
추출된 상기 최적 매개변수를 기반으로, 헤어 모델 및 수염 모델 중 적어도 어느 하나를 생성하고, 생성된 상기 헤어 모델, 상기 수염 모델 및 상기 얼굴 영역을 포함하는 최종 3D 얼굴 모델을 출력하는 최종 3D 얼굴 모델 출력부를 포함하는 3D 얼굴 모델 생성 장치.
제7항에 있어서,
상기 최종 3D 얼굴 모델 출력부는,
상기 최종 3D 얼굴 모델의 용도를 기반으로 상기 최종 3D 얼굴 모델의 포맷 및 구조를 결정하여 출력하는 것을 특징으로 하는 3D 얼굴 모델 생성 장치.
제7항에 있어서,
입력받은 3D 헤어 모델 데이터 셋 및 3D 수염 모델 데이터 셋 중 적어도 어느 하나의 데이터 셋을 이용하여 기계학습을 수행하고, 상기 기계학습의 수행 결과인 상기 학습 매개변수를 저장하는 기계 학습부를 더 포함하되,
매개변수는,
헤어나 수염의 생성방향, 굵기, 꼬임형태 및 길이 중 적어도 하나에 관련된 것으로, 헤어 모델 및 수염 모델의 특정에 의해 결정되는것을 특징으로 하는 3D 얼굴 모델 생성 장치.
제7항에 있어서,
상기 최종 3D 얼굴 모델 출력부는,
상기 생성된 상기 헤어 모델 및 상기 수염 모델 중 적어도 어느 하나를 렌더링하여 디스플레이하고,
상기 오차 함수 계산부는,
렌더링하여 디스플레이된 모델과 상기 입력받은 3D 얼굴 복원 모델 간 유사도를 기 설정된 임계값을 비교한 결과, 상기 유사도가 상기 임계값 미만인 경우 상기 오차 함수를 재계산하는 것을 특징으로 하는 3D 얼굴 모델 생성 장치.